- 博客(7)
- 收藏
- 关注
RSS订阅原创 sparksql性能优化，数据倾斜，报_too large frame_或者_Size exceeds Integer.MAX_VALUE_ 错误
sparksql性能优化，数据倾斜，报_too large frame_或者_Size exceeds Integer.MAX_VALUE_ 错误
2023-02-24 21:13:54
953
转载 解读Cardinality Estimation算法（第四部分：HyperLogLog Counting及Adaptive Counting）
原文：解读Cardinality Estimation算法（第四部分：HyperLogLog Counting及Adaptive Counting）在前一篇文章中，我们了解了LogLog Counting。LLC算法的空间复杂度为O(log2(log2(Nmax)))，并且具有较高的精度，因此非常适合用于大数据场景的基数估计。不过LLC也有自己的问题，就是当基数不太大时，估计值的误
2015-07-02 19:24:33
1150
转载 解读Cardinality Estimation算法（第三部分：LogLog Counting）
原文：解读Cardinality Estimation算法（第三部分：LogLog Counting）上一篇文章介绍的Linear Counting算法相较于直接映射bitmap的方法能大大节省内存（大约只需后者1/10的内存），但毕竟只是一个常系数级的降低，空间复杂度仍然为O(Nmax)。而本文要介绍的LogLog Counting却只有O(log2(log2(Nmax)))
2015-07-02 19:22:01
1245
转载 解读Cardinality Estimation算法（第二部分：Linear Counting）
原文：解读Cardinality Estimation算法（第二部分：Linear Counting）在上一篇文章中，我们知道传统的精确基数计数算法在数据量大时会存在一定瓶颈，瓶颈主要来自于数据结构合并和内存使用两个方面。因此出现了很多基数估计的概率算法，这些算法虽然计算出的结果不是精确的，但误差可控，重要的是这些算法所使用的数据结构易于合并，同时比传统方法大大节省内存。在
2015-07-02 19:17:59
1310
转载 解读Cardinality Estimation算法（第一部分：基本概念）
原文：解读Cardinality Estimation算法（第一部分：基本概念）
2015-07-02 19:09:32
1211
原创 elasticsearch源码简读：程序启动
启动类：1.org.elasticsearch.bootstrap.Elasticsearch2.org.elasticsearch.bootstrap.ElasticsearchF,前台运行类，es.foreground=yes,否则不打印系统日志两个类都继承Bootstrap public static void main(String[] args) {
2015-01-06 14:55:13
734
原创 如何提高ES索引创建效率
1.JDK：1.7.0_55之后版本，55之前JDK有一些BUG会导致索引文件毁坏2.JAVA堆配置不是越大越好，建议配置不超过物理内存的一半，其余内存留给操作系统的IO缓存管理3.ES版本1.3.2以上4.修改es堆内存，ES_MIN_MEM(相当于-Xms，默认256m), ES_MAX_MEM(相当于-Xmx，默认1g)5.增加打开文件句柄数，推荐设置为32k-64k.将-
2015-01-05 19:09:18
2434
appstore-300100865_b7128a4e3_999999_target26QuickDownload_build255.apk
2023-10-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人