- Hadoop安装教程_单机/伪分布式配置(厦门大学·数据库实验室)
http://dblab.xmu.edu.cn/blog/install-hadoop/ - Hadoop集群安装教程(厦门大学·数据库实验室)
http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ - 将mac系统的文件传输与virtual box 相关联 可以进行文件的互相交互
方法一:可以参考一下我的另一篇文章
https://blog.csdn.net/Yyukiii/article/details/116465270?spm=1001.2014.3001.5501
方法二:在mac终端上输入
scp(文件路径)hadoop@hadoop01(虚拟机的名称):~(~是/home/hadoop) - 拒绝链接
下图为拒绝连接的一种案例
输入代码jps
,查看Namenoda是否成功开启,若未出现Namenode的进程则进行以下代码
cd
cd /usr/local/hadoop
./sbin/start-dfs.sh
在进行查看重新输入jps
查看Namenode是否启用成功
5. 查看文件—文件的位置(本地与hdfs文件夹的区别)
-touchz是创建一个文件夹,但是内容为空,所以图示中读取的内容为空;vim进行编辑的是hdfs中的文件夹,vim只能编辑本地文件。
----------------------------HDFS文件在线编辑的实现思路--------------------------------
1.上传文件
hdfs dfs -put
2.在文件中追加
hdfs dfs -appendToFile
3.强制更新
hdfs dfs -put -f
首先上传一个文件到HDFS上:hdfs dfs -put test1File /hadoop/test1File
然后在这个文件夹内进行增添内容:hdfs dfs -appendToFile test2File /hadoop/test1File
最后重置hdfs上的内容:hdfs dfs -put -f test1File /hadoop/test1File
命令的统一格式为:hdfs dfs -put -f <修改过的文件> <已存在的文件>
Ps特殊提示:
1.搭建集群前要确保三台虚拟机配置完成,并且能相互相互相互ping通!!!
比如 /etc/hosts /etc/hostname /etc/network/interfaces文件内容改怎么改
2.结合教程搭建的时候注意master slave节点分配,hadoop01作为Master,hadoop02,hadoop03作为slave
教程中所有涉及到Master的配置都要改成hadoop01
3.确保三台机器的所有配置保持一致!!!不一致就会出错
4.从分布式切换到伪分布式时,不要忘记修改 slaves 配置文件
5.在两者之间切换时,若遇到无法正常启动的情况,可以删除所涉及节点的临时文件夹,这样虽然之前的数据会被删掉,但能保证集群正确启动。所以如果集群以前能启动,但后来启动不了,特别是 DataNode 无法启动,不妨试着删除所有节点(包括 Slave 节点)上的 /usr/local/hadoop/tmp 文件夹,再重新执行一次 hdfs namenode -format,再次启动试试。