Hadoop
文章平均质量分 92
isOllie
一只菜鸡
展开
-
Hadoop 典型Writable类详解
Hadoop将很多Writable类归入org.apache.hadoop.io包中,在这些类中,比较重要的有Java基本类、Text、Writable集合、ObjectWritable等,重点介绍Java基本类和ObjectWritable的实现。1. Java基本类型的Writable封装目前Java基本类型对应的Writable封装如下表所示。所有这些Writable类都继承自Writ...原创 2020-01-27 11:42:42 · 2118 阅读 · 0 评论 -
java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums
Exception in thread “main” java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V这个错误是因为无法连接Hadoop所导致的检查以下几点:Hadoop进程是...原创 2019-08-01 16:47:46 · 860 阅读 · 0 评论 -
Java 程序编写 MapReduce与HBase集成
准备工作创建JAVA / Maven工程导入所依赖的Jar包导入依赖的配置文件Jar包导入<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.7&l...原创 2019-07-31 21:01:24 · 375 阅读 · 0 评论 -
Hadoop jar包提交运行在YARN上的执行流程
(1) 用户提交jar包,向resourceManager请求提交任务(2) resourceManager接收任务,并随机选择一台nadeManager启动appMaster.(3) appMaster向resourceManager请求资源(4) resourceManager分配资源,并将资源分配信息返回给appMaster(5) appMaster联系Nodemanager启动相...原创 2019-07-14 21:34:42 · 1928 阅读 · 0 评论 -
Hadoop MapReduce运行的五大过程,包含详细的shuffle过程
(1) input (a)读取HDFS上文件数据 (b)将数据转成keyvalue形式,key是行偏移量,value是行内容(2) map (a) 接收input的输出 (b) 根据分片的个数,启动相应task (c) 每个map task对每条keyvalue调用map方法进行处理(3) shuffle ->Map shuffle (a)将map输出的数...原创 2019-07-14 21:20:43 · 363 阅读 · 0 评论 -
Hadoop hadoop的二次排序的思想
eg.输入: 输出:A 1 A 1B 3 A 2B 1 A 4C 5 B 1A 4 B 3A 2 C 5关键点 自定义,结合数据类型 作为map()函数输出key 自定义分区partition 按照第一个字段进行分区 自定义分组grouping 按照第一个子弹进行分组文...原创 2019-07-14 21:14:38 · 233 阅读 · 1 评论 -
Hadoop异常:java.lang.ClassCastException: interface javax.xml.soap.Text
这个异常的大概意思是不认识Text检查源代码,最后发现在一个类中没有导入import org.apache.hadoop.io.Text;导入的却是 import javax.xml.soap.Text;(这个,貌似是在用IDE的提示功能时点错了)更改后,重新运行,问题解决...原创 2019-07-03 20:37:29 · 1998 阅读 · 1 评论 -
Hadoop hadoop各模块的架构(分布式)功能
Hadoop 所包含的模块• Hadoop Common: The common utilities that support the other Hadoop modules.公共的工具,为其他模块提供支撑的• Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throu...原创 2019-07-02 21:31:11 · 1065 阅读 · 0 评论 -
Java ERROR util.Shell: Failed to locate the winutils binary in the hadoop
在使用idea操作HBase数据库时报了如下错误主要原因是因为Hadoop在windows下兼容性问题,找不到Hadoop\bin\winutils.exe这个文件解决办法:配置环境变量配置后重启,再次运行,问题解决...原创 2019-07-30 22:52:11 · 778 阅读 · 0 评论 -
大数据-----------shuffle过程的优化:combiner合并,compress压缩
shuffle过程的优化combiner合并在map阶段提前进行了一次合并,一般来讲等同于提前执行了reduce操作好处:可以降低reduce的压力在map阶段的进行合并是并行的(分布式的)注意:并不是所有的程序都适合combiner:测试设置combiner之和和之后的结果要一致,不能因为性能优化导致结果不对,A + (B +C) = (A+B) + Ccompress压...转载 2019-07-19 21:24:16 · 485 阅读 · 0 评论