- 博客(6)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 【hadoop】hadoop上hive的安装和spark的引擎安装
一、hive的安装与配置确保自己的hadoop集群没有问题可以看到我的集群hadoop1和hadoop3为NN，hadoop2为RM关闭集群(hdfs和yarn，zookeper可以不用管)hadoop1:sbin/stop-dfs.shhadoop2:sbin/stop-yarn.sh在hadoop集群的每一个节点的core-site.xml增加如下代码<...
2019-09-17 21:27:09
843
原创 【hadoop】MapTask的Shuffle机制及源码解析
一、MapTask的Shuffle机制MapTask工作机制图解MapTask的Shuffle工作机制图解步骤解释3.1 Shuffle工作机制范围广义：Mapper端之后Reduce端之前的范围狭义：Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle3.2 MapTask工作机制Read阶段：MapTask通过用户编写的RecordRea...
2019-09-10 16:18:38
332
原创 【hadoop】MapReduce入门WordCountTop10
一、MapReduce概述定义MapReduc是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架MapReduce的核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完成的分布式运算程序，并发运行在一个Hadoop集群上Mapreduce的优缺点优点：MapReduce易于编程：它简单的实现一些接口，就可以完成一个分布式程...
2019-09-09 19:06:57
589
原创 【hadoop】HDFS-HA工作机制
一、HA概述1）所谓HA（High Available），即高可用（7*24小时不中断服务）。2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNode主要在以下两个方面影响HDFS集群：1. NameNode机器发生意外，如...
2019-09-07 10:32:52
748
原创 【hadoop】DataNode工作机制
图解文字解释1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某...
2019-09-05 21:20:52
325
原创 【hadoop】HDFS客户端操作和文件写数据源码解析
一、环境准备创建Maven工程HdfsClient，并导入相应的依赖坐标+日志添加<packaging>jar</packaging> <dependencies> <dependency> <groupId>junit</groupId> &l...
2019-09-03 15:19:03
304
saprk_ch_es_realtime的MDB创建表语句，自动生成db数据jar包
2020-09-21
面向对象.xmind
2019-12-16
spring_test.rar
2019-08-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人