- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hive数据倾斜原因及解决方案
0. 前言参考：hive数据倾斜原理与解决方案https://blog.csdn.net/s646575997/article/details/515106611. 场景2. 原因3. 解决方案
2021-07-19 23:54:21
221
原创 Hadoop2.7.6源码学习（1）——前期准备
在hadoop官网下载Source download版本的文件，然后解压到 ~/hadoop-src/文件夹下，会看到一个BUILDING.txt文件，按照里面的要求，下载一些编译源码所需的包，* JDK 1.7 (我用的是1.8，早就配置好了，跳过)* Maven $ sudo apt-get -y install maven* Native libraries $ sudo...
2021-07-19 23:53:37
243
原创 Python循环遍历的优化
年前在SRCC进行数据处理，碰到了瓶颈，就是python循环遍历处理大量数据，这时的效率低的可怜，也没找到啥好的办法，年后现在接着找，非要搞出个名堂来…现在将找到的一些资料都记录在这，备用。1. Pandas 内存优化Pandas处理大数据集的方法（内存优化，减少内存使用量90%）x. 小技巧实测表明，for语句一般比while语句效率更高，xrange一般比range要高效；...
2021-07-19 23:52:52
957
原创 一些有意思的金融科普知识
0 前言最近进了一家金服公司 BI 部门实习，做了快两个星期，才发现有困难的不一定是技术部分，反而是业务。。。。以前对金融行业的认识还停留在银行贷款，然后还贷的层面，最近明显感觉很多东西不懂，就去了解了一下金融业的水，这一探呐，哇，可以淹死无数个串行的我。。。有些有意思的贴，在此转载过来。主要参考帖子：各网站搜集来的一些对金融术语的通俗解释1....
2021-07-19 23:52:11
429
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人