- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark如何利用namenode HA
1. 编辑/etc/spark/conf下的文件spark-env.sh +export HADOOP_CONF_DIR=/etc/hadoop/conf +export HADOOP_HOME=/usr/lib/hadoop 这样就能访问到hdfs-site.xml中的配置： dfs.nameservices ctdn
2017-04-07 10:58:18
1352
原创 hive和hbase集成
1. 检查$HIVE_HOME/lib下有无如下jar包： guava-14.0.1.jar ,zookeeper.jar ,hive-hbase-handler.jar ,hbase-common.jar ,hbase-server.jar ,hbase-client.jar ,htrace-core.jar ,hbase-protocol.jar 2. 如果缺少，则在$H
2017-04-05 16:06:03
763
1
原创 mapreduce JVM参数配置的问题
在mapred-site.xml中添加参数： mapreduce.map.java.opts 1536 mapreduce.reduce.java.opts 3072 在hive中执行简单查询： select count(1) from sample; 报错： Error during job, obtaining debuggi
2017-04-05 13:26:00
1784
原创 hadoop2 namenode HA的问题
问题：namenode挂掉了，HA中standby的节点没有接过来 1. namenode挂掉的原因： 是与jornalnode通讯超时，20000ms不够，修改文件，添加如下参数来修改默认配置： dfs.qjournal.write-txns.timeout.ms 60000 2. namenode挂掉
2017-04-05 12:07:02
555
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人