Hadoop
青天大脑爷
不为失败找理由,只为成功找方法。
展开
-
【Hadoop】Combiner的本质是迷你的reducer,不能随意使用,典型的使用场景是词频统计
问题提出:众所周知,Hadoop框架使用Mapper将数据处理成一个<key,value>键值对,再网络节点间对其进行整理(shuffle),然后使用Reducer处理数据并进行最终输出。 在上述过程中,我们看到至少两个性能瓶颈:(引用)如果我们有10亿个数据,Mapper会生成10亿个键值对在网络间进行传输,但如果我们只是对数据求最大值,那么很明显的Mapper只需要输...原创 2020-03-27 16:09:22 · 759 阅读 · 0 评论 -
什么是2147483647 ?
2147483647(二十一亿四千七百四十八万三千六百四十七)是2147483646与2147483648之间的自然数,也是欧拉在1772年所发现的一个梅森素数,它等于2^31-1,是32位操作系统中最大的符号型整型常量,例如在Pascal语言中长整型的范围是-2147483648~2147483647。中文名2,147,483,647外文名2,14...原创 2020-03-26 10:43:17 · 7266 阅读 · 0 评论 -
Hadoop hdfs删除指令
hadoop fs -rm -r hdfs://hadoop102:9000/*原创 2020-03-22 00:23:13 · 1058 阅读 · 0 评论