Hadoop
文章平均质量分 62
Hadoop
塞上江南o
这个作者很懒,什么都没留下…
展开
-
hadoop outline
hadoop outline原创 2022-07-01 00:21:07 · 1202 阅读 · 0 评论 -
Yarn 调度器
Yarn 调度器原创 2019-10-24 11:21:40 · 210 阅读 · 0 评论 -
Yarn 工作机制
yarn 工作机制原创 2020-10-24 15:30:15 · 280 阅读 · 1 评论 -
yarn 参数调整
yarn 参数调整原创 2019-09-20 15:57:53 · 860 阅读 · 1 评论 -
hadoop LZO压缩配置
目录项目经验之LZO压缩配置1)hadoop`本身并不支持lzo压缩`,故需要使用twitter提供的hadoop-lzo开源组件。`hadoop-lzo需依赖hadoop和lzo进行编译`,编译步骤省略。2)将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/3)同步hadoop-lzo-0.4.20.jar到替他所有节点4)在core-site.xml文件中增加配置支持LZO压缩5)同步core-site.xml到替他所有节点6)原创 2021-01-02 11:45:19 · 487 阅读 · 0 评论 -
mr-WordCount 简单测试代码
mapreduce WordCount 简单测试代码原创 2019-11-05 09:57:17 · 296 阅读 · 1 评论 -
mr-InputFormat OutputFormat
mr-继承关系图原创 2019-11-16 19:42:46 · 161 阅读 · 1 评论 -
mr-Shuffle 机制 mr-属性控制优化
mr-Shuffle 机制 Shuffle 机制的优化原创 2019-11-14 14:06:34 · 579 阅读 · 1 评论 -
mr 工作机制
mr 工作机制原创 2019-11-12 15:21:12 · 470 阅读 · 1 评论 -
mr-Job源码提交流程
mr-Job提交流程源码原创 2019-11-13 15:47:45 · 264 阅读 · 1 评论 -
mr-MapTask ReduceTask并行度决定机制 FileInputFormat切片源码解析
mr-MapTask ReduceTask并行度决定机制 FileInputFormat切片源码解析原创 2019-11-14 19:25:27 · 265 阅读 · 1 评论 -
mr 压缩
mr 压缩原创 2019-10-24 11:42:34 · 450 阅读 · 1 评论 -
hdfs 读写数据流程
hdfs 读写数据流程原创 2020-01-10 21:51:07 · 194 阅读 · 1 评论 -
hdfs 小文件影响 解决方案
hdfs 小文件影响 解决方案原创 2019-10-24 18:35:35 · 246 阅读 · 1 评论 -
hdfs Shell操作
`原创 2019-10-24 11:10:27 · 369 阅读 · 1 评论 -
hdfs-NameNode和SecondaryNameNode 工作机制
hdfs-NameNode和SecondaryNameNode 工作机制原创 2019-11-04 19:09:48 · 232 阅读 · 1 评论 -
hadoop 集群崩溃处理
hadoop 集群崩溃处理原创 2020-10-24 17:18:59 · 160 阅读 · 0 评论 -
hadoop 简介
组成原创 2020-10-24 15:21:13 · 679 阅读 · 0 评论 -
hadoop 分布式部署
分布式:不同的多台服务器上面部署不同的服务模块(工程),他们之间通过Rpc/Rmi之间通信和调用,对外提供服务和组内协作。集群:不同的多台服务器上面部署相同的服务模块,通过分布式调度软件进行统一的调度,对外提供服务和访问。...原创 2019-12-02 19:35:09 · 282 阅读 · 0 评论 -
Call From ubuntu-virtual-machine/127.0.1.1 to ubuntu-virtual-machine:9000 failed on connection excep
搭建hadoop伪分布式集群时,执行命令hadoop dfs -ls / 遇到的问题Call From ubuntu-virtual-machine/127.0.1.1 to ubuntu-virtual-machine:9000 failed on connection exception: java.net.ConnectException: Connection refused解...原创 2019-11-02 18:36:57 · 2667 阅读 · 1 评论 -
hadoop 中配置历史服务 日志聚集
hadoop中配置历史服务,日志聚集配置历史服务1. 进入到配置文件目录下,配置mapred-site.xml#我的配置目录全路径/opt/moudles/hadoop-2.9.2/etc/hadoopubuntu@ubuntu01:/opt/moudles/hadoop-2.9.2/etc/hadoop$ vim mapred-site.xml2.其中添加<!---将19...原创 2019-09-20 17:12:49 · 502 阅读 · 0 评论