- 博客(4)
- 收藏
- 关注
RSS订阅原创 桥连控制高可用HDFS集群
HDFS完全分布式高可用集群一般至少有4个节点，平时学习过程中我们一般会通过搭建四个虚拟机来实现。 但如果一台机子同时启动四台虚拟机外加以后需要用到的eclipse和tomcat,其负载之大可以想象，所以我们可以通过用另一台主机A去连接主机B上的虚拟机中的HDFS从而加快我们的开发速度。 1.桥接模式 vmware workstation中有三种虚拟机网络的连接方式，分别为桥连，NAT和主机模式 ...
2018-10-13 11:30:37
201
原创 完全分布式HDFS集群搭建
1.配置静态IP 因为每次虚拟机重新启动，它原有的ip地址都有可能发生变化，因为我们要先固定集群中各个节点的ip防止以后无法解析对应的节点 cd /etc/sysconfig/network-scripts/ vi ifcfg-eth0 修改配置文件 ONBOOT=yes BOOTPROTO=none 在末尾添加 IPADDR=192.168.23.130（最好修改为本次虚拟机启动后的ip防...
2018-10-10 21:05:34
2231
原创 初学大数据（二）
HDFS写操作: 1)客户端先对数据用block切分计算数据块个数，在HDFS中默认的块大小是128M 2)客户端在切分数据后向NameNode汇报的信息包括整个文件的block数，文件权限，上传时间 3)客户端开始以字节的形式读取数据直到128M 4)客户端请求第一个blocks的存放地址(包含两个备份地址一共是三个)和对应的Id号 5)NameNode根据各个DataNode返回的信息返回负载...
2018-10-10 00:05:28
129
原创 初学大数据（一）
初学大数据 1.什么是大数据 所谓大数据，字面含义就是海量的数据，但不仅仅这一点，总结来说，就是在短时间快速的内产生的海量的多种多样的有价值的新数据 关于大数据的技术大概分为三类: 1）分布式存储 2）分布式计算 3）机器学习 2.什么是分布式存储 假设有这么一个场景，有一批PB级的数据需要存储，显然以目前单台服务器的存储能力很难胜任这个任务，这时候就需要分布式存储，有多台服务器来共同完这个任务 ...
2018-10-09 21:04:37
229
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人