sql 时间转换 将时间戳转换为’yyyy-MM-dd HH:mm:ss’–将时间戳转换为’yyyy-mm-dd’格式。–把20211124174732转化为时间戳。–20171205转成2017-12-05。–2017-12-05转成20171205。–将时间戳转换为’yyyymmdd’格式。–将当前时间戳转换为日期格式。
pip国内源 中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣(douban) http://pypi.douban.com/simple/ (推荐)清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/阿里云 http://mirrors.aliyun.com/pypi/simple/
【数据倾斜原因及处理】 第一个job会将map端数据随机输入reducer，每个reducer做部分聚合，相同的key就会分布在不同的reducer中。把空值的 key 变成一个字符串加上随机数，就能把倾斜的数据分到不同的reduce上 ,解决数据倾斜问题。hive在运行的时候没有办法判断哪个key会产生多大的倾斜，所以使用这个参数控制倾斜的阀值，如果超过这个值，新的值会发送给那些还没有达到的reduce，一般可以设置成你处理的总记录数/reduce个数的2-4倍都可以接受。类型的SQL时，会出现数据倾斜的问题。
爬虫 -- 天天基金网数据简单爬取 目标 — 简单获取天天基金网站的基金数据代码区import requestsimport timeimport pandas as pdif __name__ == '__main__': for j in range(1, 49): url = f'http://fund.eastmoney.com/Data/Fund_JJJZ_Data.aspx?t=1&lx=1&letter=&gsid=&text=&sort=zdf,d
关注
