![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
文章平均质量分 69
王改改63 的日记
这个作者很懒,什么都没留下…
展开
-
虚拟机创建脚本
1.新建一个.sh文件,touch test.sh2.编辑test.sh文件,vi test.sh然后键入i,输入内容,#!/bin/sh必须放在第一行然后键入esc键入:wq保存退出3.给test.sh赋予可执行权限,chmod +x test.sh4.执行脚本./test.sh,即可执行脚本5.也可以通过sh test.sh 执行脚本扩展资料:Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统原创 2021-04-26 15:19:39 · 5264 阅读 · 0 评论 -
Hadoop MapReduce
Map 的流程原始数据File·1T数据被切分成块存放在HDFS上,每一个块有128M大小 .数据块Block. hdfs上数据存储的一个单元,同一个文件中块的大小都是相同的·因为数据存储到HDFS上不可变,所以有可能块的数量和集群的计算能力不匹配·我们需要一个动态调整本次参与计算节点数量的一个单位·我们可以动态的改变这个单位–》参与的节点 切片split·切片是一个逻辑概念·在不改变现在数据存储的情况下,可以控制参与计算的节点数目·通......原创 2021-03-08 08:41:37 · 127 阅读 · 0 评论