![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop Record
文章平均质量分 74
RIICARDO_
码海拾贝让人惬意,又遍布惊喜!
展开
-
MapReduce3_核心框架原理
MapReduce3_核心框架原理 文章目录MapReduce3_核心框架原理0. 概要框架1. InputFormat数据输入1.1 切片和MapTask并行度决定机制1.2 Job提交流程源码详解1.3 切片源码详解1.4 FileInputFormat1.5 TextInputFormat1.6 CombineTextInputFormat1.6.1 实例说明:1.6.1.1 虚拟存储阶段1.6.1.2 切片过程1.6.2 分割虚拟存储源码部分1.6.3 合并虚拟存储块,生成切片部分源码1.6.4原创 2021-08-24 21:33:15 · 198 阅读 · 0 评论 -
MapReduce2_序列化
MapReduce2_序列化 文章目录MapReduce2_序列化1. Hadoop序列化1.1 和Java序列化比较1.2 bean对象实现序列化接口2. 上下行流量统计案例2.1 项目目的2.2 思路2.3 代码实现2.3.1 FlowBean2.3.2 FlowMapper2.3.3 FlowReducer2.3.4 FlowDriver3. 运行结果 1. Hadoop序列化 1.1 和Java序列化比较 Java的序列化框架Serializable序列化一个对象之后会附带很多额外的信息,比如校原创 2021-08-18 21:56:51 · 69 阅读 · 0 评论 -
MapReduce1_概述
MapReduce1_概述 文章目录MapReduce1_概述1.1 定义1.2 优缺点1.3 核心思想1.4 MapReduce进程1.5 WordCount源码分析1.6 常用数据序列化类型1.7 MapReduce编程规范 1.1 定义 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上 1.2 优缺点 优点: 易于编程:简单实现一些接口就能完成一个分布式程序 扩展性好:添加机器就能扩展计算能力 高容错性:有机器挂掉就自动将其任务转移原创 2021-08-18 21:55:37 · 87 阅读 · 0 评论 -
WordCount源码分析
WordCount源码分析 参考:Hadoop集群(第6期)_WordCount运行详解 环境: hadoop 3.1.3 hadoop-mapreduce-examples-3.1.3.jar中的wordcount源码 流程: 将文件拆分成splits,因为文件很小,所以真正运行时一整个文件就是一个split,下图模拟两个split,并将文件按行分割形成key,value对,这一步由MapReduce框架自动完成,key是偏移量,包括换行所占字符数 分割完成后交给用户定义的map方法进行原创 2021-08-13 11:39:18 · 140 阅读 · 0 评论 -
HDFS记录(零)
HDFS记录(零) 文章目录HDFS记录(零)1. 概述1.1 背景定义1.2优缺点1.3 HDFS组成架构1.4 文件块大小2. HDFS的shell操作2.1 准备工作2.2 上传2.3 下载2.4 HDFS直接操作3. Hadoop API操作3.1 创建文件夹3.2 上传3.4 下载3.5 删除3.6 移动和更名3.7 查看文件详细信息4. HDFS读写流程4.1 HDFS写数据流程4.1.1 写入流程4.1.2 网络拓扑-节点距离计算4.1.3 机架感知(副本存储节点选择)4.2 HDFS读数据原创 2021-08-13 10:50:27 · 182 阅读 · 0 评论 -
Hadoop执行程序出现Name node is in safe mode.
Name node is in safe mode. 问题描述:重启Hadoop之后立即执行了测试程序,出现该问题 环境:hadoop3.3.1 jdk1.8 centos7 问题解决: 1、NameNode发现集群中DataNode丢失达到一定比例(0.01%)时会进入安全模式,此时只允许查看数据不允许对数据进行任何操作。 2、HDFS集群即使启动正常,启动只会依旧会进入安全模式一段时间,这时你不需要理会他,稍等片刻即可。 3、集群升级维护时手动进入安全模式吗,命令如下 hadoop dfsadmin -原创 2021-08-13 10:47:51 · 232 阅读 · 0 评论 -
Hadoop执行wc出现Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
1.Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster 问题描述:执行mapreduce出现问题 执行hadoop jar share/hadoop/mapreduce/ha doop-mapreduce-examples-3.3.1.jar wordcount /input /outpu t出现如下问题 环境:完全分布式,hadoop3.3.1,jdk1.8 Error: Could原创 2021-08-13 10:45:04 · 233 阅读 · 0 评论 -
Hadoop笔记记录(零)
Hadoop笔记记录(零) 文章目录Hadoop笔记记录(零)1.搭建1.1三种模式1.2测试2.常用命令2.1scp安全拷贝2.2rsync远程同步工具2.3 xsync脚本编写3.集群配置3.1规划3.2配置3.2.1配置文件说明3.2.2 配置集群3.2.3 群起集群3.2崩溃重新格式化3.3配置历史服务器3.4开启日志聚集功能4.常用脚本4.1集群启停方式5.常见面试题5.1常用端口号5.2常用配置文件 学习尚硅谷Hadoop课程记录 1.搭建 1.1三种模式 本地模式 数据存储在lin原创 2021-08-13 10:38:42 · 102 阅读 · 0 评论