- 博客(4)
- 收藏
- 关注
RSS订阅转载 flume 以 kafka 为channel 的配置
#此配置以kafka的一个topic为channel，相比其他channel类型 file和cache 兼并了快和安全的要求！# Define a kafka channel a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannela1.channels.c1.kafka.bootstrap.servers =...
2017-01-13 18:24:00
597
转载 cdh 安装记录
安装文件准备 CDH 下载地址：http://archive.cloudera.com/cdh5/parcels/latest/ 下载操作系统对应的版本： 1．CDH-5.3.0-1.cdh5.3.0.p0.30-e17.parcel 2．CDH-5.3.0-1.cdh5.3.0.p0.30-e17.parcel.sha1 3．Manifest.json Cloude...
2017-01-13 16:17:00
147
转载 elasticsearch+spark+hbase 整合
1.用到的maven依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId> <...
2017-01-13 15:05:00
342
转载 spark yarn任务的executor 无故 timeout之原因分析
问题： 用 spark-submit --master yarn --deploy-mode cluster --driver-memory 2G --num-executors 6 --executor-memory 2G ~~~ 提交任务时，最后一个executor 执行时间 超过了 160s 导致 timeout而退出，造成任务重新执行造成用时过长。具体请看...
2017-01-13 10:23:00
1648
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人