大数据平台
LLM硬着陆
Deep Learning/Bigdata
展开
-
janusgraph-CDH
实际工作中遇到了JanusGraph与CDH的兼容问题,做了简单的尝试,能够把OLAP on SPARK任务跑起来了,希望对大家有帮助JanusGraph 0.2.3CDH 5.7.6hadoop-hdfs/yarn 2.6.0-cdh5.7.6spark 1.6.0-cdh5.7.6-hadoop2.6.0-cdh5.7.6Github链接...原创 2021-06-25 12:00:14 · 132 阅读 · 0 评论 -
Kafka基本命令
开启Kafka:cd /opt/kafka_2.10-0.8.1.1bin/kafka-server-start.sh config/server.properties注意:kafkajar包的MAINFEST.MF中需要加入:Main-Class: MyKafka运行程序:java -jar XXX.jarjava -Djava.ext.dirs=/opt/kafka_2....原创 2018-09-23 13:34:51 · 365 阅读 · 0 评论 -
[大数据] CDH平台Yarn动态资源池的配置与Oozie调度使用
用户会根据自己的作业需求来区分集群资源的分配情况我的需求是Oozie周期调度多Spark作业,需要动态使用Yarn资源CDH版本:5.6.0关闭允许未声明的池 yarn.scheduler.fair.allow-undeclared-pools搜索yarn.scheduler.fair.allow-undeclared-pools,默认为true,需要配置成false,设置为 tr...原创 2018-11-01 18:28:03 · 3485 阅读 · 1 评论