- 博客(4)
- 收藏
- 关注
RSS订阅原创 机器学习顶级论文网站
icml和nipsnips全部论文 ：https://papers.nips.cc/icml全部论文 ：http://jmlr.org/proceedings/
2019-12-30 17:14:39
1236
原创 spark2.4 sql 快速列去重（冗余列检查）
一直想做一个勤奋的人，笔耕方田，将自己在从事spark开发四年来积累的奇淫巧技分享出来。在给大家提供参考方案的同时也在总结和优化之前的设计。如果在有幸碰到大牛忍不住提出更好的优化方案能从中受益，也不枉码了这么多字。每当设计出一个很好的计算方案，就会忍不住打开博客想分享出来。然后会一直琢磨该以什么样的文字描述出来，想着想着就放弃了。总是想构思一个比较完美的结构段落，结果到最后什么也没...
2019-12-26 14:28:31
2484
原创 spark2.2升级spark2.4遇到的bug
一直以来spark社区是非常活跃的开源社区，版本跟新迭代速度相当的快。有的时候大版本更新时间速度快到怀疑人生，第一次感觉到学习速度跟不上更新速度，是在spark1.6更新到spark2.0,两个版本几乎没有间隔多久。也一度怀疑自己已经老了，吃不动这碗饭了。回归正题，spark官方版本更新速度比较快本身是一件很好的事情，能够快速修复已经提交的bug，新的性能优化方案和技术方向可以很快在新版本上得...
2019-12-24 17:18:59
1645
原创 CDH coludera maven 阿里云，华为云 仓库
大数据生态环境系统，越来越依赖CDH生态。大部分公司都是用CDH来部署大数据生态架构，这种结构是运维的一大福音，但是对于开发确实一个噩梦一样,下载CDH版本的Spark，Hadoop依赖包实在试太慢了了，甚至有可能下载不了。 直接下载国外原厂镜像，很难下载的下来。阿里云maven私服不包含CDH版本spark，hadoop依赖包，在遍历了众多国内镜像后，发现华为...
2019-12-17 20:16:31
2313
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人