![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据平台
LLM硬着陆
Deep Learning/Bigdata
展开
-
janusgraph-CDH
实际工作中遇到了JanusGraph与CDH的兼容问题,做了简单的尝试,能够把OLAP on SPARK任务跑起来了,希望对大家有帮助 JanusGraph 0.2.3 CDH 5.7.6 hadoop-hdfs/yarn 2.6.0-cdh5.7.6 spark 1.6.0-cdh5.7.6-hadoop2.6.0-cdh5.7.6 Github链接 ...原创 2021-06-25 12:00:14 · 133 阅读 · 0 评论 -
Kafka基本命令
开启Kafka: cd /opt/kafka_2.10-0.8.1.1 bin/kafka-server-start.sh config/server.properties 注意:kafkajar包的MAINFEST.MF中需要加入:Main-Class: MyKafka 运行程序: java -jar XXX.jar java -Djava.ext.dirs=/opt/kafka_2....原创 2018-09-23 13:34:51 · 365 阅读 · 0 评论 -
[大数据] CDH平台Yarn动态资源池的配置与Oozie调度使用
用户会根据自己的作业需求来区分集群资源的分配情况 我的需求是Oozie周期调度多Spark作业,需要动态使用Yarn资源 CDH版本:5.6.0 关闭允许未声明的池 yarn.scheduler.fair.allow-undeclared-pools 搜索yarn.scheduler.fair.allow-undeclared-pools,默认为true,需要配置成false,设置为 tr...原创 2018-11-01 18:28:03 · 3486 阅读 · 1 评论