- 博客(4)
- 资源 (4)
- 收藏
- 关注
原创 hivemeta、sparkSubmit进程参数优化
1、对hive参数优化 优化 hivemeta进程和sparksubmit进程修改hive-env.sh添加 vi hive/conf/hive-env.shexport HADOOP_OPTS="$HADOOP_OPTS -XX:NewRatio=12 -Xmx4096m -Xms1024m -XX:MaxHeapFreeRatio=40 -XX:
2016-03-14 20:05:46 1254
原创 hadoop namenode进程参数调整
修改hadoop-env.sh添加 vi $HADOOP_HOME/conf/hadoop-env.shexport HADOOP_NAMENODE_OPTS="-Xmx16384m -Xms4096m -Xmn2048m -verbose:gc -Xloggc:/usr/local/fqlhadoop/logs/hdfs/namenode.gc.log -XX:E
2016-03-14 20:02:15 4614
原创 spark sql 1.6.0 自定义永久函数
spark sql 1.5.0 也支持Spark(Hive) SQL中UDF的使用相对于使用MapReduce或者Spark Application的方式进行数据分析,使用Hive SQL或Spark SQL能为我们省去不少的代码工作量,而Hive SQL或Spark SQL本身内置的各类UDF也为我们的数据处理提供了不少便利的工具,当这些内置的UDF不能满足于我们的需要时
2016-03-14 19:58:34 4806
原创 ERROR YarnScheduler: Lost executor
执行脚本出现:15/07/30 10:18:13 ERROR cluster.YarnScheduler: Lost executor 8 on myhost1.com: remote Rpc client disassociated15/07/30 10:18:13 ERROR cluster.YarnScheduler: Lost executor 6 on myhost2.com:
2016-03-09 15:24:13 13528 2
tpch_2_14_3
2015-11-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人