针对MAC系统Hadoop集群搭建指南1

  1. Hadoop安装教程_单机/伪分布式配置(厦门大学·数据库实验室)
    http://dblab.xmu.edu.cn/blog/install-hadoop/
  2. Hadoop集群安装教程(厦门大学·数据库实验室)
    http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/
  3. 将mac系统的文件传输与virtual box 相关联 可以进行文件的互相交互
    方法一:可以参考一下我的另一篇文章
    https://blog.csdn.net/Yyukiii/article/details/116465270?spm=1001.2014.3001.5501
    方法二:在mac终端上输入
    scp(文件路径)hadoop@hadoop01(虚拟机的名称):~(~是/home/hadoop)
  4. 拒绝链接
    下图为拒绝连接的一种案例
    拒绝链接的报错
    输入代码jps,查看Namenoda是否成功开启,若未出现Namenode的进程则进行以下代码
cd
cd /usr/local/hadoop
./sbin/start-dfs.sh

在进行查看重新输入jps查看Namenode是否启用成功
5. 查看文件—文件的位置(本地与hdfs文件夹的区别)
在这里插入图片描述
在这里插入图片描述
-touchz是创建一个文件夹,但是内容为空,所以图示中读取的内容为空;vim进行编辑的是hdfs中的文件夹,vim只能编辑本地文件。
----------------------------HDFS文件在线编辑的实现思路--------------------------------

1.上传文件
hdfs dfs -put
2.在文件中追加
hdfs dfs -appendToFile
3.强制更新
hdfs dfs -put -f

首先上传一个文件到HDFS上:hdfs dfs -put test1File /hadoop/test1File
然后在这个文件夹内进行增添内容:hdfs dfs -appendToFile test2File /hadoop/test1File
最后重置hdfs上的内容:hdfs dfs -put -f test1File /hadoop/test1File
命令的统一格式为:hdfs dfs -put -f <修改过的文件> <已存在的文件>

Ps特殊提示:
1.搭建集群前要确保三台虚拟机配置完成,并且能相互相互相互ping通!!!
比如 /etc/hosts /etc/hostname /etc/network/interfaces文件内容改怎么改
2.结合教程搭建的时候注意master slave节点分配,hadoop01作为Master,hadoop02,hadoop03作为slave
教程中所有涉及到Master的配置都要改成hadoop01
3.确保三台机器的所有配置保持一致!!!不一致就会出错
4.从分布式切换到伪分布式时,不要忘记修改 slaves 配置文件
5.在两者之间切换时,若遇到无法正常启动的情况,可以删除所涉及节点的临时文件夹,这样虽然之前的数据会被删掉,但能保证集群正确启动。所以如果集群以前能启动,但后来启动不了,特别是 DataNode 无法启动,不妨试着删除所有节点(包括 Slave 节点)上的 /usr/local/hadoop/tmp 文件夹,再重新执行一次 hdfs namenode -format,再次启动试试。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值