- 博客(4)
- 收藏
- 关注
RSS订阅原创 JVM调优总结
堆大小设置JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。典型设置：java -Xmx3550m -Xms3550m -Xmn2...
2018-02-24 22:18:25
146
原创 Spark动态资源分配在yarn的配置
配置文件$SPARK_HOME/conf/spark-defaults.conf$HADOOP_HOME/conf/yarn-site.xml1、启用动态资源分配功能在spark-defaults.conf 中添加spark.dynamicAllocation.enabled=true配置其他参数：spark.dynamicAllocation.minExecutors 最小executor数量s...
2018-02-24 22:11:04
880
原创 scrapy报错no module named win32api 的解决方法
问题现象：执行scrapy程序时保持no module named win32api版本：window版本：window10 64位python2.7解决方法：http://sourceforge.net/projects/pywin32/files/ 到该网站下载对应的版本进行安装例如本次出现问题是在win64位python2.7，即下载pywin32-220.win-amd64-py2.7.e...
2018-02-24 21:14:12
388
原创 Spark 查看 job history 日志
SPARK_HOME/conf 下:spark-defaults.conf 增加如下内容spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.compress truespark-env.sh 增加如下内容：export SPARK_HISTORY_OPTS=”-...
2018-02-24 17:30:42
1129
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人