- 博客(3)
- 收藏
- 关注
RSS订阅原创 Linux修改已存在的用户名
修改已存在的用户名，并且此用户相关的文件同步变化。完成此项任务除需要修改etc目录下的三个文件参数：/etc/passwd、/etc/group、/etc/shadow然后修改/home下的用户名第一步：切换为root用户su root第二步：修改相关文件参数vim /etc/passwd
1210
原创 2020-10-10
shuffle机制具体Shuffle过程详解，如下：（1）MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中（2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件（3）多个溢出文件会被合并成大的溢出文件（4）在溢出过程及合并的过程中，都要调用Partitioner进行分区和针对key进行排序（5）ReduceTask根据自己的分区号，去各个MapTask机器上取相应的结果分区数据（6）ReduceTask会抓取到同一个分区的来自不同MapTask的结果文件，
2020-10-10 22:01:06
119
原创 Hadoop生态圈端口号汇总
组件 节点 hadoop2.x Hadoop3.x 用途说明 HDFS NameNode 50070 9870 查看当前HDFS的状态，浏览文件系统 HDFS NameNode 8020/9000 9820 指定HDFS运行时nameNode地址 HDFS DateNode 50010 9866 datanode服务端口，web浏览器访问端口，用于数据传输 HDFS DateNode
2020-09-19 23:12:29
257
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人