乱七八糟
若愚致远
数据搬运工
展开
-
map和reduce数量如何确定
可以看到前提是,我们要指定mod,也即是分桶的个数,其实该值也是运行的最大reduce个数,生产的blockSize256M,因此分桶默认是11个桶,1个分桶两个块,可以支持1100W/天,另外由于分桶关联考虑,其余的以11的倍数设置分桶,如11,22,33,44,55等,另外分桶增加分区字段的ETL_DT,具体效果待后续观察。有一点关系,因为reducer的数量是由map输出的数据的大小决定的.map输出的数据量越大,reduce的数量相应的也就越多。减少map的数量,map输出的文件是要落地的。原创 2023-07-10 12:06:44 · 760 阅读 · 1 评论 -
win10系统system进程占用cpu高怎么解决
win10系统system进程占用cpu高原创 2022-11-18 11:58:38 · 10659 阅读 · 4 评论 -
概率之说【转】
为了活着,永远做大概率事件!为了救命,永远相信小概率事件!动物界里,顶级的存在如虎、如豹、如狮、如犬、如狼、如豺等等,它们脚上都有厚厚的肉垫,走起路来静悄悄,还压低身子,就为了致命一击更加迅猛。而食草类的动物,牛啊、羊啊、马啊,驴啊,那蹄子都硬的很,走起路来滴滴答答的清脆,就是告诉天敌:“我来了,我来了。”食物链越高级的动物,风险意识越强,股市投资也是这个规律。东北,有一种动物叫做傻狍子,这玩意本不稀缺,但奈何太过单纯没有危险意识,生生把自己这个品种玩成了保护物种。它们好奇心很重,遇到任何事情都会跑原创 2022-05-01 23:33:24 · 77 阅读 · 0 评论