![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HA Hadoop
威尼斯的星期天
Console.log('♚')
展开
-
hadoop3.2.0,kafka_2.12-2.4.0 flume采集方案demo
效果根据消息中的事件时间来分目录,按照年月日分!前言公司有个数据采集需求,因为历史原因,我们公司使用的hadoop和kafka版本比较高,所以我采用了1.9.0的flume进行开发,flume内存调优这里就不讲了,有兴趣的自己去搜下。第一次使用肯定需要调优。环境准备java 1.8 flume 1.9.0 kafka_2.12-2.4.0 hadoop3.2.0flume的lib中需要将hadoop的一些依赖放进去,在hadoop3.2.0中慢慢去找hadoop-3.2.0/share/ha原创 2020-10-27 20:10:32 · 504 阅读 · 0 评论 -
Spark任务使用yarn-client模式运行,yarn上job出现Accepted State
前言因为公司测试集群很low,所以yarn调度默认配置不满足,本来计算出来结果是资源刚刚够,但是死活起动不了job。解决办法修改配置文件vim capacity-scheduler.xml默认0.1修改的大些,我直接改到0.5<property> <name>yarn.scheduler.capacity.maximum-am-resource-percent</name> <value>0.5</value>原创 2020-10-10 17:00:24 · 372 阅读 · 0 评论 -
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):
Caused by:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException):Permission denied: user=swimer, access=EXECUTE,inode="/tmp/hive":zhengkw:supergroup:drwxrwx—windows环境下,idea编写spark-sql访问hive权限问题hive是在HDFS上的,一般作为数据仓库,.原创 2020-05-15 20:50:52 · 2015 阅读 · 0 评论 -
spark-shell --master yarn模式下 com.hadoop.compression.lzo.LzoCodec not found.
错误原因笔者在hadoop中配置了编解码器lzo,所以当使用yarn模式时,spark自身没有lzo的jar包所以无法找到!解决办法将lzo的jar包路径给spark!配置spark-default.conf文件!...原创 2020-05-04 21:21:29 · 743 阅读 · 1 评论 -
not instantiate implementation: com.thinkaurelius.titan.diskstorage.hbase.HBaseStoreManager
前言在hadoop-ha中集成atlas管理元数据报错处理报错Factory method ‘get’ threw exception; nested exception isjava.lang.IllegalArgumentException: Could not instantiateimplementation:com.thinkaurelius.titan.diskstora...原创 2020-04-19 22:20:22 · 510 阅读 · 0 评论