![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Mr.ChowSit
古人云:survive in disaster perish in comfort
展开
-
大数据踩过的坑
本篇文章主要针对在大数据实战过程中遇到问题的总结!!!Yarn连接错误:20/01/27 15:29:53 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(...原创 2020-01-27 14:16:56 · 508 阅读 · 0 评论 -
MapReduce自定义类设置中文属性写出到HDFS乱码
自定义类中重写write和readFields方法@Overridepublic void write(DataOutput out) throws IOException { out.writeUTF(this.name); out.writeUTF(this.course);}@Overridepublic void readFields(DataInput i...原创 2019-08-03 10:36:52 · 227 阅读 · 0 评论 -
MapReduce综合案例(自定义类+分区+优化器+分组)
数据:班级|姓名|学科|成绩(存在重复)ClassA|Jack|Math|95ClassA|Jack|Math|95ClassA|Jack|English|95ClassA|Jack|English|95ClassA|Tom|Math|85ClassA|Tom|Math|85ClassA|Tom|English|85ClassA|Tom|English|85ClassA|...原创 2019-08-07 23:34:54 · 1872 阅读 · 0 评论 -
MapReduce经典案例爷孙关系(自连接MapJoin和ReduceJoin的两种实现)
需求:求出所有具有爷孙关系的人数据来源:儿子 父亲Tom LucyTom JackJone LucyJone JackLucy MaryLucy BenJack AliceJack JesseTerry AliceTerry JessePhilip TerryPhilip AlmaMark TerryMark Almareduce-join 处理...原创 2019-08-05 23:04:49 · 1738 阅读 · 0 评论 -
Hadoop2.7.7源码编译(Windows7)
源码包准备【hadoop-2.7.7-src.tar.gz】略解压后找到构建说明【BUILDING.txt】,看一下基本要求都有什么* Windows SystemWindows7* JDK 1.7+* Maven 3.0 or later* Findbugs 1.3.9 (if running findbugs)findbugs -version...原创 2019-08-06 08:24:42 · 1587 阅读 · 1 评论 -
Hadoop2.7.7源码编译(Centos6.10)
源码包准备【hadoop-2.7.7-src.tar.gz】略解压后找到构建说明【BUILDING.txt】,看一下基本要求都有什么安装以下软件【以防万一】没有列全:yum install -y gccyum install -y gcc-c++yum install -y make* Unix SystemCentos6.10* JDK 1.7+略...原创 2019-08-01 21:37:29 · 1684 阅读 · 0 评论