我的大数据环境搭建
Richard_More
学习笔记(金融+计算机)
展开
-
从零开始的Hadoop学习之旅
问题1:hadoop 安装时要注意哪些? 答案:对所有的电脑进行(1)安装大环境,linux系统,java安装(2)linux语法上;建立专门的用户;修改/etc/hosts的IP地址与名字对应;然后在集群进行ssh的免密码登录,生成公钥,然后把所有的公钥,分发到集群的authorized_keys.(3)hadoop的配置文件夹;下载解压hadoop的版本,配置hadoop的5个文件。(4)打原创 2016-06-24 23:32:42 · 746 阅读 · 0 评论 -
hadoop搭建中遇到的问题汇总
1. ssh免密码登录 最优方案推荐: http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.html 2. datanode的问题 若出现以下情况: 最近在管理集群时发现明明所有数据节点都已经正常启动了,而通过命令Hadoop dfsadmin -report 显示的 Live datanodes却只有一个。同时,通过web原创 2016-09-16 16:25:28 · 718 阅读 · 0 评论 -
hadoop分布式搭建的测试
1 搭建 两个节点,一个作为master,一个作为slave02. 内存4G,硬盘75G java7 hadoop2.6.4 2. 初始化 miaofu@miaofu-Virtual-Machine:~/hadoop-2.6.4$ hadoop namenode -format DEPRECATED: Use of this script to execute hdfs com原创 2016-09-17 17:33:30 · 820 阅读 · 0 评论