![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
初学大数据
正版专业酱油
这个作者很懒,什么都没留下…
展开
-
桥连控制高可用HDFS集群
HDFS完全分布式高可用集群一般至少有4个节点,平时学习过程中我们一般会通过搭建四个虚拟机来实现。 但如果一台机子同时启动四台虚拟机外加以后需要用到的eclipse和tomcat,其负载之大可以想象,所以我们可以通过用另一台主机A去连接主机B上的虚拟机中的HDFS从而加快我们的开发速度。 1.桥接模式 vmware workstation中有三种虚拟机网络的连接方式,分别为桥连,NAT和主机模式 ...原创 2018-10-13 11:30:37 · 204 阅读 · 0 评论 -
初学大数据(一)
初学大数据 1.什么是大数据 所谓大数据,字面含义就是海量的数据,但不仅仅这一点,总结来说,就是在短时间快速的内产生的海量的多种多样的有价值的新数据 关于大数据的技术大概分为三类: 1)分布式存储 2)分布式计算 3)机器学习 2.什么是分布式存储 假设有这么一个场景,有一批PB级的数据需要存储,显然以目前单台服务器的存储能力很难胜任这个任务,这时候就需要分布式存储,有多台服务器来共同完这个任务 ...原创 2018-10-09 21:04:37 · 235 阅读 · 0 评论 -
初学大数据(二)
HDFS写操作: 1)客户端先对数据用block切分计算数据块个数,在HDFS中默认的块大小是128M 2)客户端在切分数据后向NameNode汇报的信息包括整个文件的block数,文件权限,上传时间 3)客户端开始以字节的形式读取数据直到128M 4)客户端请求第一个blocks的存放地址(包含两个备份地址一共是三个)和对应的Id号 5)NameNode根据各个DataNode返回的信息返回负载...原创 2018-10-10 00:05:28 · 134 阅读 · 0 评论 -
完全分布式HDFS集群搭建
1.配置静态IP 因为每次虚拟机重新启动,它原有的ip地址都有可能发生变化,因为我们要先固定集群中各个节点的ip防止以后无法解析对应的节点 cd /etc/sysconfig/network-scripts/ vi ifcfg-eth0 修改配置文件 ONBOOT=yes BOOTPROTO=none 在末尾添加 IPADDR=192.168.23.130(最好修改为本次虚拟机启动后的ip防...原创 2018-10-10 21:05:34 · 2237 阅读 · 0 评论