大数据
文章平均质量分 55
大数据相关的,包括spark,sparksql,hdfs等
Seethy
这个作者很懒,什么都没留下…
展开
-
sparksql性能优化,数据倾斜,报_too large frame_或者_Size exceeds Integer.MAX_VALUE_ 错误
sparksql性能优化,数据倾斜,报_too large frame_或者_Size exceeds Integer.MAX_VALUE_ 错误原创 2023-02-24 21:13:54 · 835 阅读 · 0 评论 -
如何提高ES索引创建效率
1.JDK:1.7.0_55之后版本,55之前JDK有一些BUG会导致索引文件毁坏2.JAVA堆配置不是越大越好,建议配置不超过物理内存的一半,其余内存留给操作系统的IO缓存管理3.ES版本1.3.2以上4.修改es堆内存,ES_MIN_MEM(相当于-Xms,默认256m), ES_MAX_MEM(相当于-Xmx,默认1g)5.增加打开文件句柄数,推荐设置为32k-64k.将-原创 2015-01-05 19:09:18 · 2414 阅读 · 0 评论 -
elasticsearch源码简读:程序启动
启动类:1.org.elasticsearch.bootstrap.Elasticsearch2.org.elasticsearch.bootstrap.ElasticsearchF,前台运行类,es.foreground=yes,否则不打印系统日志两个类都继承Bootstrap public static void main(String[] args) {原创 2015-01-06 14:55:13 · 698 阅读 · 0 评论