![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
我的大数据环境搭建
Richard_More
学习笔记(金融+计算机)
展开
-
从零开始的Hadoop学习之旅
问题1:hadoop 安装时要注意哪些?答案:对所有的电脑进行(1)安装大环境,linux系统,java安装(2)linux语法上;建立专门的用户;修改/etc/hosts的IP地址与名字对应;然后在集群进行ssh的免密码登录,生成公钥,然后把所有的公钥,分发到集群的authorized_keys.(3)hadoop的配置文件夹;下载解压hadoop的版本,配置hadoop的5个文件。(4)打原创 2016-06-24 23:32:42 · 723 阅读 · 0 评论 -
hadoop搭建中遇到的问题汇总
1. ssh免密码登录最优方案推荐:http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.html2. datanode的问题若出现以下情况:最近在管理集群时发现明明所有数据节点都已经正常启动了,而通过命令Hadoop dfsadmin -report 显示的 Live datanodes却只有一个。同时,通过web原创 2016-09-16 16:25:28 · 690 阅读 · 0 评论 -
hadoop分布式搭建的测试
1 搭建两个节点,一个作为master,一个作为slave02. 内存4G,硬盘75Gjava7hadoop2.6.42. 初始化miaofu@miaofu-Virtual-Machine:~/hadoop-2.6.4$ hadoop namenode -formatDEPRECATED: Use of this script to execute hdfs com原创 2016-09-17 17:33:30 · 811 阅读 · 0 评论