![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
信-
这个作者很懒,什么都没留下…
展开
-
启动hadoop DataNode 出现问题
2021-04-11 20:34:25,769 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerServicejava.io.EOFException: End of File Exception between local host is: "master/192.168.158.10"; destination host is: "localhost":9090; : java.io.EOFExcept原创 2021-04-12 14:14:25 · 821 阅读 · 1 评论 -
hadoop架构图
hadoop架构图原创 2021-01-20 15:33:22 · 683 阅读 · 0 评论 -
rsync远程同步工具
rsync主要用于备份和镜像,具有速度快,避免复制相同内容和支持符号连接的优点rsync和scp的区别:用rsync做文件的复制要比scp速度快,rsync只对差异文件做更新,scp是把所有文件都复制过去原创 2020-12-04 14:10:38 · 79 阅读 · 0 评论 -
datanode namenode进程只能同时工作一个
问题原因NameNode在format初始化后会生成claserId(集群id),在没有关闭进程或删除原有DataNode信息的情况下, 再次格式化NameNode,生成的clusterId不同,所以导致两个不能对应上。解决办法jps查看namenode和datanode ,先将两个关闭 删除DataNode生成的data目录和logs目录 (默认在/tmp路径下,若进行了配置要看具体配置路径) 所有相关的都要删除 执行格式化命令...原创 2020-12-03 20:48:18 · 349 阅读 · 0 评论 -
hadoop 操作
在hdfs上创建文件 bin/hdfs dfs -mkdir -p /input/yr-p:指定多路径单独启动某一个节点:hadoop-daemon.sh start datanode/namenode(在bin下面启动)显示但路径:bin/hdfs dfs -ls /显示多路径:bin/hdfs dfs -lsr /将本地文件上传hdfs:bin/hdfs dfs -put wcinput/wc.input /input (前面为本地路径,后面为hdfs路径)...原创 2020-12-03 20:36:16 · 111 阅读 · 0 评论 -
yarn架构图
原创 2020-12-01 21:46:03 · 344 阅读 · 0 评论