大数据和云计算技术周报（第15期）

写在第15期周报

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：区块链、云计算、大数据方法论、广告投放系统实践、基础组件内核和优化知识（spark/hive）和数据建模方法论。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！也请同学们继续打赏，支持社区，支持编辑们持续奉献高质量知识！

#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学，欢迎扫描文末二维码联系（参与社区工作，收获知识和进步，还有红包哦）。

特别提醒，文末有惊喜！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。

1

大数据方法论

英特尔中国研究院院长、首席工程师吴甘沙将大数据的可能价值变现方式划分为六种：一是见微，从小处看到细微的洞察；二是知著，能看到宏观的变化规律。正如《一代宗师》里的台词“见自己、见众生、见天地”，吴甘沙把见微是叫做见自己，知著称为见众生、见天地。第三第四种是当下和皆明，当下是此时此刻的感受，皆明是知前后做到万物皆明，是在时间点上在不同的万物上获得洞察。五六是辨讹和晓意。

http://dwz.cn/7hBgWi

2

云市场竞争

AWS 2017 Q4云份额遭Azure蚕食降至62%；后者营收增长一倍

公有云市场竞争越来越激烈，cloud 1.0是互联网企业竞争，cloud 2.0是企业市场的竞争，传统企业上云转型成为兵家必争之地。

http://dwz.cn/7hBhqg

3

热门区块链

本文形象的阐述虚拟货币和区块链技术和原理，值得一看

http://dwz.cn/7hBhPd

4

美团点评实践

在美团点评的联盟广告投放系统（DSP）中，广告从召回到曝光的过程需要经历粗排、精排和竞价及反作弊等阶段。其中精排是使用CTR预估模型进行排序，由于召回的候选集合较多，出于工程性能上的考虑，不能一次性在精排过程中完成候选集的全排序，因此在精排之前，需要对候选广告进行粗排，来过滤、筛选出相关性较高的广告集合，供精排使用。

本文首先会对美团点评的广告粗排机制进行概要介绍，之后会详细阐述基于用户、天气、关键词等场景特征的广告粗排策略。

http://sina.lt/fj5F

5

数据建模

本文的主要目的之一，就是希望读者能够通过对本文的阅读，同时，结合自己对数据仓库建设的经验，在建设数据仓库的时候能够总结出一套适合自己的建模方法，能够更好的帮助客户去发挥数据仓库的作用。本文从以下三个方面详细叙述：1）什么是数据模型；2）为什么需要数据模型；3）如何建设数据模型。

http://t.cn/RQlIFZb

6

基础组件原理和优化

1）shuffle作为Spark程序中很重要的一个环节，直接影响了Spark程序的性能。本文详细地介绍了Spark的shuffle实现是如何进化的，以及遇到问题解决问题的过程。通过本文了解spark的进化史，可以更深刻理解spark的shuffle过程。

http://t.cn/RQlHHDm

2）本周推荐一篇浪尖兄的关于sparksql的调优，文章从jvm、内存、文件分区数据的调控、文件格式等方面做了调优的介绍，强力推荐！

http://dwz.cn/7hBisG

3）本文从fetchtask   表逻辑 map优化方面来对hive进行优化  希望对你们有所帮助

http://dwz.cn/7hBiGS

007

开心一刻

古代有一小姐，遇到一个上京赶考的穷书生避雨，发现其很有才华后以身相许。

次日小姐垂泪送书生：“君若高中莫负妾身。”

书生发誓后，带着姑娘给的银子走了。

小姐让丫环把书生的名字纪录在册，丫头说：“这已经是第五十个书生了！”

小姐说：“没办法，总有一个会真的考上的”。 

         ——2017最佳小说《风投》

书生让书童把小姐的名字记下，感叹说：这是第一百个了啊。 

         ——2017最佳小说《融资》

书生的伴读童子问书生:公子，自从三年前你离家，如今已经睡了九十余名女子了，我们在各大赴京路上往复，难道就不去赶考了吗？书生答:赶考当大官不也是为了钱和女人吗？既得痴情女子九十有余，还赶着考啥？ 

          ——2017最佳小说《泡沫》

丫环帮小姐把名字记下后，从贴身处掏出一个小本，记下了第五十个书童的名字!

          一一2017最佳小说《跟投》

书童回味着九十几个丫环的味道，掂掂口袋里的私房银子，紧紧的跟上了公子的步伐!

         一一2017最佳小说《平台》

抵京后书生把所带银两的十分之一让书童去京城赌场压了自己考不上。

        ——2017最佳小说之《对冲》

书生被公主看中，免于应试，直接招了驸马。

         ——2017最佳小说之《上市》

书生招驸马后，无法兑现对之前九十多名女子的承诺，前期九十多名女子的投资将血本无归，全部输光。

         ——2017最佳小说之《P2P》

小姐得知书生发迹，知道前期投资已血本无归，遂上京击鼓鸣冤。

         ——2017最佳小说之《维权》

京城乱成一团，圣上得知后大怒，休掉书生，午门斩首。

         ——2017最佳小说《退市》

午时三刻，刽子手挥刀之际，一太监高呼刀下留人！原来书生母亲是大明湖畔夏雨荷…… 

          ——2017最佳小说《救市》

书生被救后，皇上颁布圣旨“前期九十多名女子全部纳为驸马小妾，沐浴皇恩浩荡！”......

          ——2017最佳小说《债转股》

我把这个故事发到朋友圈。

         ——2017最佳散文《分享》

看完这篇文字 ，你会心一笑。

         ——2017最佳政策《获得感》

一个故事，道破2017..套路太深。

          －－当月最佳小说之《一带一路》

致谢：

薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、魏宏斌

加入技术讨论群

为了方便大家相互交流学习，社区群人数已经2500+，欢迎大家加下面助手微信，拉大家进群，自由交流。

喜欢QQ群的，可以扫描下面二维码：

欢迎大家通过二维码打赏支持技术社区（英雄请留名，社区感谢您，打赏次数超过50+）：