![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Yzxxx__
无人理睬时,坚定执着。万人敬仰时,心如止水。
展开
-
大数据学习-----HDFS的读写流程
1.HDFS写流程 •HDFS写流程 –Client: •切分文件Block •按Block线性和NN获取DN列表(副本数) •验证DN列表后以更小的单位流式传输数据 –各节点,两两通信确定可用 •Block传输结束后: –DN向NN汇报Block信息 –DN向Client汇报完成 –Client向NN汇报完成 •获取下一个Block存放的DN列表 •最终Client汇...原创 2019-08-29 10:12:00 · 111 阅读 · 0 评论 -
hadoop 安装配置(伪分布式)
1.ssh免密钥(本机) [root@node01 ~]# ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa [root@node01 .ssh]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 2.安装JDK [root@node01 ~]# rpm -i jdk-7u67-linu...原创 2019-08-30 09:54:51 · 79 阅读 · 0 评论 -
hadoop 分布式搭建 (基于伪分布式)
•关停集群: stop-dfs.sh •1, 每台服务器要 –安装jdk –/etc/hosts (别名,通讯) –调整时钟 –配置环境变量 –免密钥登陆 •控制节点scp自己的id_dsa.pub分发到其他节点 •cat ~/node1.pub >> ~/.ssh/authorized_keys –mkdir /opt/sxt •core-site...原创 2019-09-02 14:15:00 · 84 阅读 · 0 评论