hadoop
bigdataf
这个作者很懒,什么都没留下…
展开
-
大数据 Guava冲突问题
程序使用的guava版本和hadoop hbase大数据之类的包冲突,总是报NoSuchMethod和ClassNoDef之类的错误解决方法:将guava-22.0单独打成jar包,并改名,再重新放回源程序基于maven-shade-plugin,guava单独打成jar包,修改包路径,并加入源程序的maven本地仓库1.guava单独打成jar包的pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://原创 2020-10-10 10:51:44 · 1743 阅读 · 0 评论 -
hadoop 源码编译2.7.4
1。下载源码 查看BUILDING.txt,依据说明要求 进行编译yum -y install svn ncurses-devel gcc*yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-develwget https://sourceforge.net/projects/findbugs/fi原创 2017-12-04 18:15:56 · 248 阅读 · 0 评论 -
spark hive hbase 结合
spark hive hbase 结合业务需求,需要整合需要读取hive数据导入hbase中,一下是环境配置流程以及中间遇到的问题1.spark读hive需要copy hive-site和hdfs-site 等配置文件到项目资源包下object hivesql { case class Record(key: Int, value: String) def ma原创 2018-01-18 14:04:41 · 1321 阅读 · 0 评论