- 博客(3)
- 收藏
- 关注
RSS订阅原创 MapReduce 初体验
进入到hadoop目录执行 hadoop-xxx/bin/hdfs dfs -chmod -R 777 / 给所有文件赋值最高权限（所有node节点）hadoop-mapreduce-examples-3.3.6.jar wordcount 源码。运行MapReduce用WordCount进行处理。可以看出页面代码识别的主机名来进行api调用，新建名称 test 的文件夹。在宿主机上添加如下映射。新建txt文件并上传。
2024-01-28 12:20:47
280
原创 Docker 搭建 Hadoop集群
docker 编译hadoop 和 docker 创建一个新的网段，取名为 my-net 详见Hadoop 集群至少3台服务器（或至少3个docker容器实例）为了保证数据的可靠性和完整性，Hadoop的分布式存储系统要求每个文件至少应有三个副本。因此，至少需要三台DataNode主机来满足这一需求。
2024-01-27 15:39:42
629
原创 Hadoop-3.3.6 编译
可以不用 Docker 直接购买 ECS 也可以（没有选择ECS主要是8G得ECS比较贵，亲测在2和2GECS上执行如下步骤，直到maven编译oom，就是说系统固定遇到问题也是同样的）系统：Anolis OS 8.8（亲测效果和遇到的问题和centos8 一模一样，centos8不维护了，而且官方yum源下线了，还需要更改yum源）jdk版本：jdk1.8.0_391 （snappy 版本：1.1.3。isa-l版本：2.30.0'cmake版本：3.27.1。maven版本：3.9.6。
2024-01-13 12:27:00
480
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人