- 博客(5)
- 收藏
- 关注
RSS订阅原创 pip国内源
中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣(douban) http://pypi.douban.com/simple/ (推荐)清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/阿里云 http://mirrors.aliyun.com/pypi/simple/
2023-05-31 22:10:17
95
1
转载 【数据倾斜原因及处理】
第一个job会将map端数据随机输入reducer，每个reducer做部分聚合，相同的key就会分布在不同的reducer中。把空值的 key 变成一个字符串加上随机数，就能把倾斜的数据分到不同的reduce上 ,解决数据倾斜问题。hive在运行的时候没有办法判断哪个key会产生多大的倾斜，所以使用这个参数控制倾斜的阀值，如果超过这个值，新的值会发送给那些还没有达到的reduce，一般可以设置成你处理的总记录数/reduce个数的2-4倍都可以接受。类型的SQL时，会出现数据倾斜的问题。
2023-05-18 14:54:44
524
1
原创 爬虫 -- 天天基金网数据简单爬取
目标 — 简单获取天天基金网站的基金数据代码区import requestsimport timeimport pandas as pdif __name__ == '__main__': for j in range(1, 49): url = f'http://fund.eastmoney.com/Data/Fund_JJJZ_Data.aspx?t=1&lx=1&letter=&gsid=&text=&sort=zdf,d
2020-09-21 20:04:38
4150
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人