业务分析
YY_pdd
linux and bigdata studying ......
展开
-
上海租房
租房大平台自如大概在浦东-川沙找到了最低价1400+(总月付大概1700+)。平台服务费160/月。租一年。蛋壳据说公寓比较好,但个人感觉比较麻烦,主要是没有想象中的方便、便宜。58(安居客)贵的偏高,便宜的离谱(肯定有假的)。估计只有经验丰富的人才能分辨出这些信息。总结:估计都有平台费。就上海,被人推荐过自如。普遍2K左右,仔细找找在偏僻地段能找到1.5K左右的(临近地铁线的)。比如浦东-川沙。小中介目前谈了一个,准备去看,说的是1.5左右,各种条件还不错。两边收费,租客1/3,原创 2020-11-17 17:38:39 · 361 阅读 · 1 评论 -
kafka常见面试题
kafka1、kafka名词解释和工作producer:消息生产者,就是向kafka broker发消息的客户端。consumer:消息消费者,向kafka broker取消息的客户端。topic:可以理解为一个队列。consumer group(CG):这是kafka用来实现一个topic消息的广播(发给所有人的consumer)和单播(发给任意一个consumer)的手段。一个topic可以有多个CG。topic的消息会复制(概念上的复制)到所有的CG,但每个partion只会把消息发给该原创 2020-11-01 23:40:44 · 2115 阅读 · 0 评论 -
mapreduce优化之自定义combiner
自定义combinermap端合并数据,减少网络io一、普通的combiner二、自定义combiner,实现自由合并map端合并数据,减少网络io前言:在map端使用combiner合并数据可以减少需要通过网络io的数据,有效增加map reduce程序的运行效率。一、普通的combiner在map端提前使用combiner合并数据是广为人知的一种优化策略。但是这种优化策略有两个缺陷,一个是数据量要比较大,不过考虑到map reduce程序处理的数据一般都是大量的数据,所以这个问题不是关键。使原创 2020-10-14 21:25:16 · 463 阅读 · 1 评论 -
mapreduce获取共同好友分析
MapReduce 获取共同好友分析MapReduce程序的逆向分析MapReduce 获取共同好友分析一、题目二、分析由底向上分析三、总结1由上述情况可以总结map reduce程序的两个特性:1.1、map程序处理数据总是将一个数据切分,然后组成新的数据;逆操作是切分,然后组成原数据。1.2、reduce程序处理数据总是将values组合起来,然后结合key进行最终输出;逆操作是分开key-value,然后对value进行切分,再结合key还原原数据。四、备注:1、map处理数据有可能使用InputF原创 2020-09-19 20:46:51 · 306 阅读 · 0 评论