- 博客(2)
- 收藏
- 关注
RSS订阅原创 震惊Hadoop伪分布式+spark+scala竟如此简单！
验证hdfs：可以登录浏览器地址：192.168.20.11:50070 （ip地址是master的地址）export JAVA_HOME=/opt/jdk #这里是opt目录。修改 hdfs-site.xml 将dfs.replication设置为1。在最后加上export JAVA_HOME=/opt/jdk。切换到spark安装目录的/sbin目录下启动spark集群。修改 mapred-site.xml。修改文件yarn-site.xml。修改 core-site.xml。
2024-04-25 16:44:39
988
7
原创 Hadoop、spark及linux之间的爱恨情仇。
容错性是指系统在面对故障、错误或者异常情况时能够保持正常运行，并能够从故障中恢复或继续进行操作的能力。数据在处理中，由于数据规模庞大、且分布在多个计算节点上，节点故障可能导致任务中断或数据丢失。
2024-03-07 17:30:32
658
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人