技术
文章平均质量分 86
z21198061a
3dasd
展开
-
MapReduce(MR)使用大全-保姆级踩坑无数总结
输出格式不变-outputformat org.apache.hadoop.mapred.TextOutputFormat \(程序中输出的是二进制,通过mr转成文本)资源分配过大,比如内存,有些队列是抢占式,如果一个任务执行过长资源占用过大,会被抢夺资源导致任务失败-重启-抢夺-失败。数据倾斜,合理分桶(合理的设置mapper和reduce的task),保障没有一个桶中有巨量的数据,比如id1。-jobconf map.output.key.field.separator=. \(修改分割字段符号)原创 2024-04-24 17:40:42 · 740 阅读 · 3 评论 -
docker的下载安装上传,环境nginx、php、mysql、ubuntu初学者入门零基础教程
非常简单原创 2018-11-28 18:08:20 · 261 阅读 · 0 评论 -
Numpy常用函数用法大全
abcdefghijklmnopqrstuvwxyz函数名描述array创建一个np数组arangedotexpmaxlogreshapesum原创 2019-05-30 16:45:52 · 307 阅读 · 0 评论