大数据
文章平均质量分 74
大数据学习记录
雨中散步撒哈拉
这个作者很懒,什么都没留下…
展开
-
hdfs大概流程和命令操作
文章目录1. hdfs大概流程1. hdfs大概流程一. 存储 1. client访问NameNode获取可以存储的空闲DataNode列表,并文件和DN做映射2. client 根据split分割128M,进行存储到DataNode3. DataNode之间相互传递备份二. 读取1. client访问NameNode获取文件存储映射列表2. client根据存储列表,进行读取...原创 2021-01-17 10:54:22 · 280 阅读 · 0 评论 -
测试Hadoop,执行mapreduce测试程序
文章目录1. 定位到测试jar包位置2. 运行测试包3. 发现1. 发现 map任务数可自定义2. 发现 提交任务后处理过程3.发现 任务执行流程4. 发现 整个任务从开始到结束有哪些组件参与1. file system2. job3. Map-Reduce4. Shuffle5. File Input6. File output1. 定位到测试jar包位置进入Hadoop目录下的share,找到hadoop-mapreduce-examples-2.10.1.jar测试包# 定位目录/root/d原创 2021-01-16 11:30:49 · 1857 阅读 · 0 评论