- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hadoop分布式安装部署
多次初始化会造成数据丢失，也会造成hdfs集群主从角色互不识别，需要通过删除所有机器hadoop.tmp.dir目录（core-site.xml中设置该目录）重新进行format初始化！将主机器的hadoop文件使用scp命令复制到其余两台机器，因hadoop文件太大了，故本文三台机器的hadoop事先已先解压，只需要将hadoop配置文件复制过去即可。stop-all.sh #关闭Hadoop集群。hadoop集群启动之前，需要进行format初始化操作，但初始化操作只需要一次即可！
2024-01-18 15:51:32
1433
1
原创 Hadoop安装部署之修改配置文件
第一类1个：hadoop-env.sh第二类4个：core-site.xml 核心模块配置hdfs-site.xml hdfs文件系统模块配置mapred-sitem.xml MapReduce模块配置yarn-site.xml yarn模块配置第三类1个：workers所有配置文件目录均在hadoop-3.3.6/etc/hadoop。
2024-01-18 11:50:38
551
2
原创 idea运行spark项目报错：org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0
4.如果还未能解决该错误，还可以在idea中设置run的vm options，即添加Djava.library.path="D:\hadoop-3.3.2"（亲测有效！我在其他教程中都没办法解决该错误，直到看到这一解决方法才运行成功！1.确保安装了hadoop。2.还要安装hadoop windows的winutils集成包，注意这里最好是下载与hadoop版本一致的winutils（我这里使用的是winutils的3.3.1版本，也是可行的）
2023-03-30 14:28:22
1632
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人