hadoop
wzyhahaha
殚精竭虑勤勉谦和
展开
-
编译hadoop-2.6.0,安装所有native类库
编译hadoop-2.6.0首先,一开始的问题是在学习《hadoop权威指南》的时候学到了压缩这节,就去了解了一下压缩需要安装类库,hadoop-2.6.0/lib/native库里面有东西,hadoop checknative却显示里面全部都是false。查了资料才发现,这说明hadoop是未编译的。我这里用的是CentOS6系统。最好全程使用root用户来操作,省的遇到麻烦。步骤很长,但请...原创 2019-01-31 19:05:44 · 1449 阅读 · 0 评论 -
解决SequenceFile doesn't work with GzipCodec without native-hadoop code!问题
解决SequenceFile doesn’t work with GzipCodec without native-hadoop code!问题照着Hadoop权威指南一直往下走,遇到了压缩的坑,以为完成了编译,就解决了问题,没想到问题还在后面。用的是Hadoop2.6.0出问题的代码是这一句://设置压缩格式SequenceFileOutputFormat.setOutputCompr...原创 2019-01-30 17:44:30 · 1200 阅读 · 0 评论 -
《hadoop权威指南》第九章中的NcdcStationMetadata类
百度查不到,谷歌查不到,具体的initialize方法自己能写出来又担心写出来的不对,于是上github找了作者的源码,不错,几乎是完全相同。import org.apache.hadoop.io.IOUtils;import java.io.*;import java.util.HashMap;import java.util.Map;public class NcdcStation...原创 2019-01-31 19:54:35 · 233 阅读 · 0 评论 -
spring boot\spring data与hadoop如何整合,以及解决tomcat冲突的问题
初衷:为将hadoop集成到Spring项目当中。一开始尝试直接导入hadoop依赖包,也是因为对依赖冲突不够了解,导致了tomcat中的若干依赖于hadoop中的依赖相互冲突。矛盾:针对于spring-boot-starter-web: <dependency> <groupId>org.springframework.boo...原创 2019-08-24 20:32:23 · 1698 阅读 · 1 评论