2016，我的技术和诗

前言

都说【同化】是一种很神奇的力量，看着大家都发新年感悟，大致就是回顾2016展望2017，我也没把持住自己的【清高】，发了一段话：

2016年工作上还是有不少进步的 开始在简书上写文章了 玩了微信公众号 还做了几个大数据相关的开源项目 学习，使用，布道了Spark 和 ElasticSearch 技术。当然也玩了不少地方 ，去了西安，走了沙漠，到了海边，漫步了东北，吃了重庆的火锅，来了上海迪斯尼，马上要去杭州和深圳溜达。年底这两个月竟然少有的拥有很多时间成体系的学习了一直想深入研究的机器学习领域，有了新的理解和感悟。当然遗憾的事也是有的 六月说要写的书 拖了半年还没写完

今天打算进一步俗下去，把上面的话展开了写。

技术元年

应该说2016年是自己的技术元年，当然在2016之前，我其实已经工作了七年左右了。

由批处理进入流式时代

2015年年底，进入L公司，让我进入了流式计算时代。因为当时部门的主要业务就是计费,所以当时入职后就开始对原有的系统做设计和改造，这篇文章可见端倪：基于HBase做Storm 实时计算指标存储

因为之前了解过Spark,它一个比较好的地方是能够同时实现流式和批处理，而且用起来还简单，所以我计划统一平台，不过我打算先深入学习Spark Streaming之后再使用，2015年12月9号 写了第一篇Spark的源码分析文章Spark Streaming 数据产生与导入相关的内存分析,之后就已发不可收拾。

16年成功实现了对Spark Streaming的推广，部门大部分流式任务都已经采用了Spark Streaming。目前有个百台以上规模的Hadoop集群里面大部分任务都是Spark Streaming。

我也充分的享受到了流式计算的好处，所以开始不断鼓吹流式数据天生就是流式的，而且也对流式的质量控制有一定的心得流式数据Pipeline质量控制浅谈

那个时候分析源码分析High了，还顺带研究了几天Kakfa Kafka Zero-Copy 使用分析,熟悉了其代码体系结构。

分析源码有点打游戏的感觉，打通关，解决了一团疑惑后会很有成就感，但是很快会有新的疑惑。

海量数据查询

大约2016年2月到3月之间，我们开始面对海量数据的即席查询的需求，其实就是明细数据的各种聚合查询。我之前除了参与改造流式计算平台以外，其实本职工作大致是检索引擎，还有未来的推荐，机器学习等研究。检索采用了ElasticSearch,所以对ElasticSearch开始有一定的了解，并且于 2月写了第一篇ES的研究文章ElasticSearch Rest/RPC 接口解析,然后这一整年不断的有ElasticSearch相关的文章输出。

这个过程我们开始想如何使用ES来解决明细数据聚合查询的问题，调研后做了如下的架构SparkES 多维分析引擎设计,从4月份开始，基本就是围绕这个开始做。

当时我们小组包括我是三个人，其中有一个人只负责对外需求，毕竟需要有业务产出，否则小组很容易挂掉。另外一个则配合我一起弄这套架构。虽然人少，但很高效，因为工作经验都比较丰富。整个数据部门平均工作经验7年+，我们小组则更高。

四月份我们准备简化Spark的使用，所以有了 StreamingPro项目。四月初开始规划，四月中旬开始开发，四月底就完成了第一个版本，并且很快开源。之后这个项目成为了我们所有项目使用Spark的标准工具。

SparkES 多维分析引擎设计实际对应的架构如下：

Snip20170104_2.png

当然这个架构最后的形成其实是在下半年了。规模最大时，ES集群服务器超过150+左右，配套的Spark服务占用的资源应该100+左右服务器，包括数据处理和查询。应该是一个非常大的规模了。

架构里面的QueryProxy 集成了ElasticSearch-SQL，可以查询多个ES集群，同时也可以对接Spark SQL或者ES,也就是你可以通过QueryProxy直接查询ES或者透过Spark SQL查询ES。 Spark SQL的好处是可以解决跨索引查询以及完备的SQL支持，而直接使用ES-SQL的好处是速度够快。

当然我们这个期间也花了一些时间对ES-SQL进行Enhance，增加了一些新的语法，并且提供JDBC的支持，并且回馈给了开源社区。

我们小组不仅仅承担开发任务，同时还有自己服务的业务运维任务，手头管理和维护的服务器也接近200台，而且我们也对外提供StreamingPro，QueryProxy的使用培训等，方便平台组和分析团队更好的使用。为了保证我们自己的服务运行稳定，我们重新搭建了一套小型的SparkES集群专门收集和存储ES/Storm/Spark日志等系统的日志,大致思路如用大数据思维做运维监控。很多系统提供了Rest API 方便你监控它的状态，比如ES就提供了大量的http接口供你分析ES的系统状态，反而是日志输出的比较少，为了方便采集API接口，所以我的另外一个同事又开发了一套API采集系统 RestHunter，可以通过界面和配置定时采集ES API获得结果并且解析进行存储。

释放以前的工作成果

在文章这些年，我工作上走过的路,我提到：

经过八个月业余时间(周末加上工作日夜晚)的努力，我想要的产品原型终于做成了

我将这里提及的【产品】中的一些小模块剥离出来成了两个开源项目，yarn-client,他可以是你非常容易开发一个基于Yarn的分布式应用。基于此，还有一个基于Yarn调度Docker的应用yarn-docker-scheduler。

年底的最后一战

大约12月份，我开始开发我工作生涯的第二个推荐系统，这个时候我们组包括我已经有四个人了，额外还引入了三个人，参与该项目的人大约总共七个人不到，每个研发一天不超过两小时，还有两个人总共只花了一个下午的时间，在这种情况下两个礼拜就完成了这个系统的原型开发，包括基于用户画像的实时异步化视频推荐系统提及的所有功能点，以及部分推荐系统之眼提及的功能点。

对北京说再见

给一位好朋友投了一篇稿子，叫我和北京的7年之痒-天才工程师的自白，标题那个，标题党了，大家就忽略吧，看看内容。这篇文章正式宣告我离开北京了。虽然离开北京来到杭州，结果杭州也连着四天都是雾霾天(全国性雾霾)，然而想着退而求其次，好歹还是比北京好些的，也不如北京的醇厚。

与你同在

2016年2月份参加好朋友的婚礼，然后顺带去西安玩了几天，回来到四月写了篇我的兄弟结婚啦，新娘不是我，不过没想到竟然遇到了人生很重要的人，也算是无意的收获。

那一天，我脑袋刚探进门缝里，然后有人发起关门动作，然后我的脑袋就被夹了，接着就莫名其妙的对她说：我想去沙漠，大家都去看海看山，我们去吃土吧。

你想去么？

恩，想去。

那去吧。

就这样去了沙漠，先汽车嘟嘟嘟，地铁当当当，然后火车框框框，接着滴滴滴滴滴，最后终于到达目的地。旅途艰辛。但是能和她一起在旅途，就犹如一起出来看看太阳，是一种简单但幸福的感觉。

景区是个很偏僻的地，玩完出来的时候，到公交站要走很远的一段距离，这段距离都是土路，树叶才刚发出嫩芽，但看起来和冬天光秃秃的并无二致。大卡车一过，整个路就尘土飞扬，当量相当于北京半年的霾吧。然后私家车一辆接着一辆给我们加餐。整个路途中只有我们两是在走路的。但是她一直很开心，虽然也吃了巨多的灰和土，中途还要不断给车让路。

我觉得她追寻的幸福很简单，而我也应该更加努力让她拥有那些简单的幸福。她没有因为现在的条件而责备或者不满于我，而我也相信自己能够不再让她走在充满尘土的路上。

都是爱情是神奇的，那个时候我突然感觉自己就像个诗人，总有好的句子冒在我的脑海里。

当我看着她的脸庞时，我喃喃道：

你温柔时就像 
那慵懒的太阳
暖暖的  温和的 
甜甜的  铺在了我的脸上

你热情时就像
那慵懒的太阳 
暖暖的  温和的 
却时不时灼烧下  我手上的皮肤

你喃喃呓语，听着就像海浪拍打海滩的节奏
你天使般的微笑，带来了清凉的海风  
身上的每块 骨头 每块肉  每个感触 由外而内
都是放松的 

看着你的背影  宇宙的每一刻粒子  都浸染了我的幸福

当她坐着火车准备回家时，我有点不舍：

火车

听说你要离开几天
心里的小人被撕裂成了两个小人
一个小人很不情愿，很不舍
一个小人则理性的说
不能用不舍去绑架人
我慌了，不知道该听谁的

午后闷热无风，好似心中的两个小人不再扰动，反倒焦躁了
我和你，坐在小区小广场的一棵大树下的石板凳上

天气竟然凉爽了

风吹动树叶玩转点滴阳关恰似波光嶙峋
一起的两小时，没怎么讲话
好似千年
又如一瞬
似乎我们有了千年的情
但似乎只呆呆的看了你一秒

今天我们看到了很多的火车
有绿皮的
有白皮的
他们都是风景
我们一起，开心的看着

然而
当你坐的那辆火车开动的时候
有一颗绳索
拉着我的心
车开的越远
绳索蹦的越紧
想必这就是牵挂的来源吧
当车开的足够远，我的灵魂
也被拉出
我是一个无主的人了

当她好几天不在我身边的时候，我竟然有点了无生趣：

我有一块新大陆
占据了总面积的一半
然而新大陆是被迷雾笼罩的
你来了
就像那太阳一样
拨开云雾
整个新大陆在和煦的阳光中
鸟语花香

你不在的这几天 
我发现新大陆的鸟儿不再歌唱
树叶不再长青
我以为我失去了整个新大陆
后来我才发现 
我失去了整个世界 

和她发讯息，有一种甜蜜的感觉：

她：

裹在被子里看书 
忽然想和你说说话 
又不知道说些什么
叫了叫你的名字 
有点开心  
只因喊你的时候你总在那  

我：

正经危坐着  
敲着键盘  
看着跳动的字符 时不时无意识瞅着手机  
仿佛你就在手机里  
看到有我名字的简讯点亮了屏幕 也点亮了我的心