我的2016

      又一年过去了，来公司也过了三年，刚续签合同，前两年都有总结，每一年都会有些变化，虽然进步不大，总体来说，还是在向好的方向发展。现在回首，当初选择来这里还是非常正确的，而且中途一直坚持，不离不弃，虽然从物质收获上来说，就只是个中等水平，但从整体生活状态来说，慢慢步入正轨，对比三年之前，改善是明显的。第一年写总结时是看见别人写闲着没事写着好玩；第二年开始就告诉自己要坚持，当时年底比较闲，利用两个工作日回忆完毕，坚持的动力就是有个愿景，希望能够坚持写十年的年终总结，这样把每一年重要的事记下来，方便十年后看看自己人生的变化，虽然没有惊天动地的事迹，但也许能留下一些美好的回忆。前两次是按时间顺序记流水账，今年有了新的主角，主要写写生活和工作的变化。

生活
      每一次新年开始，几乎所有的人都会有新年愿望和期待，规划好几个应该做的事，或许是一份新工作，也或许是一次美好的旅行，作为一年主要的奋斗目标，就像某云说的，未来是规划出来的。我在16年初，一个俗之又俗计划就是在公司正式涨工资之前向领导提涨工资，这是我有史以来第一次主动向领导提要求，一来本身工资不高，最多就一个中等水平，本以前有一次可以有比较大涨幅的机会，但是由于信息不对称，加上本人是个比较老实的人，所以上一次只是刚好达到我善意的要求；二来也是希望能够在房价蹭蹭上涨的魔都生存下去，当我鼓起极大勇气提出要求，心里是相当忐忑的，毕竟谈钱伤感情，何况还是能决定职场命运的领导。好在与领导也算比较熟悉，很快说明心事，领导于情于理大道理一番，似乎我的期望落空了，不过当初的想法就是不管结果怎样，我要提出自己的要求，努力过，至于是什么结果不是我控制范围了，总比闷着啥也不说却心里不痛快要好。一直以来，像我这种比较沉闷的性格总是压抑自己的想法，自从看了老罗的演讲后我就告诉自己以后心里有合理的想法就要说出来。最终四月份涨工资的时候，虽然没有达到我的要求，但也勉强过得去，而且领导还把职称title也提升了一小节，领导应该也尽力了，公司也统一补上了一月到三月工资涨幅差价，总体来看也该满足了，遂向领导表提隽谢意，表稳定努力干之决心。
      这一年，是出去活动最多的一年，以前出去旅游基本就两种情况，一是随着公司团队出游，二是随朋友在上海附近转转，今年由于跟小燕子熟悉了，需要安排我们自己的出行活动，留下我们自己的欢乐时光，因此，平时我也会留意一些旅游度假信息。年初，我们最开始去的一个景点是上海野生动物园，算是上海著名景点之一了，去的人比较多，确实也让我们普通民众大开眼见，看到了很多以前仅仅只是停留在电视上的动物，从孔雀等一些奇异地说不上名的鸟类，到大众熟悉却不常见的猩猩、大象、袋鼠，还喂食长颈鹿来个亲密合影，猛兽区近距离接触东北虎、猎豹等野兽，最后还观看了一场万马奔腾、小狗嬉戏、海狮耍球的表演，一天的时间，极大满足了二十几年来我们对动物世界的好奇心。趁着春意盎然，百花齐放的时节，三月底我们去了上海植物园，虽然以前跟朋友去过一次，但这次人物不一样了，我们也拍了很多鲜艳的照片，室内室外植物，各种各样的大棚鲜花，大多不认识，只能说在花的海洋里，极具视觉震撼力。四月的一个周末，我们去世博沙特馆吹了下风，沙特馆是世博期间最具创意的建筑，除了中国馆之外只有它还保留着，从外形上看确实比较奇特，然而当进入内部后，除了在一个在自动平移电梯上感受沙特发展、中阿友谊以及使用相对运动产生海上飘摇的错觉有点乐趣外，其他就是空荡荡弯曲的楼道墙壁上挂着一些展览和科普的图片，半小时就逛完，似乎来游玩就是仰望下沙特馆造型，其实外面看看就够了，进去的话一张门票七八十，物不所值。五月份又随公司大团队徒步徽行古道，在去绩溪的路上，一些道路发生过泥石流，下雨堵车，下午四点多才到目的地，沿着胡雪岩走出的崎岖山路，大家点灯打火，黑夜前行，奔波到一个山中小旅馆，借宿一晚，第二天一大早又沿着湿气重重的山间小路，一直爬到山顶，雾霭缭绕，似入天宫仙境，停留良久，最终小雨来袭，批雨衣慢慢下山，两天，上山下山，大山中感受宁静，身心放松，周末一愉。春天已过，炎炎夏日来临，六七月我们去豫园逛下、马路上遛下，不知不觉，时间也过得挺快的。八月份，在公司内部邮件的宣传下，亚洲音乐节、海滩把我们被吸引了，冒着酷暑，我们地铁加公交，颠簸三个多小时，终于来到了碧海金沙，在上海这种人多地少的地方，夏天有个海边可以嬉戏玩耍地方，必定人群聚集，一大堆小孩、大人赤膊游玩，我们比较羞涩，自拍几张照片，然后来了个双人骑船，骑了半个多小时，沙滩上基本就是玩沙玩水，似乎是儿童最爱玩的地方；慢慢天黑了，望着远远的亚洲音乐节舞台，第一次看明星表演，还是有点小兴奋，虽然天上下起了小雨，还是挡不住大家的好奇心，大家打了雨伞，凑拥到舞台边上，期待电视上那些熟悉的明星，大陆、台湾、香港各地LiveHouse特色歌手相继登场，带来了最土著的歌声，然而大众基本只认明星脸，南拳妈妈在一片热烈沸腾声中登场，几首热情轻快的歌，小雨渐大，却又被热情驱走，最后，潘帅作为压轴出场，他是我高中时期认识的少有几个明星之一，也是当天吸引大众的主要的原因，舞台上边说边唱边跳，大汗淋漓，经典地《快乐崇拜》将现场带向了最高潮。其实我一直觉得自己是个音盲，对音乐一窍不通，基本也分不出好坏，来现场最大的感受是个人情绪会被大众感染，明星最大的魅力是在一片沉闷的情况下却要将现场带向欢腾，这是在电视网络上无法体会到的；演唱会结束已经晚上十点多了，休息一晚上，我们又体验了一下都市菜园风情，只可惜此时菜园基本荒芜，但还是让我们了解了农耕文化，也让我想起了小时候经常跟着妈妈到园子摘菜的经历。九月底，重温了小燕子童年记忆，我们又去了玛雅水上乐园，过山车、漂游，天气渐渐凉爽，最后一个开业周末，游玩的人相对不多，基本把所有滑行项目都过了一遍，最开心的是小燕子竟然真的会游泳，而且游的不错，也许她上次游泳都是十年前了，这对在城市里长大的孩子甚是难得。时间不知不觉中溜走，小燕子突然有一天却要离职，当这已成定局，我们也像大多数人一样计划了一次离职旅行，在冬季，国内可选择的城市不多，随大流，向南方走，我们到了基本上没有选择的三亚，三亚的确是南方国内最适合的旅游城市，生态优良的热带雨林，热情的呀诺达小妹，槟榔谷消失的母系社会，手工织锦的阿婆，船上一路颠簸到蜈支洲，体会惊涛骇浪，咸咸的海水，常驻南海的观音，护佑千万信徒， 天涯海角的美丽故事，美丽之冠的异国风情表演，专业的汽车杂技，视野开阔的海景房，高大的椰子树，平静的三亚湾，种种特色，让人记忆深刻；面对蓝色的天空，开阔的海面，浪来浪去，如同人生有起有落，告别过去，展望未来；夜晚海边漫步，静静聆听海的声音，抹去城市的喧嚣，感受大自然的安宁；专业的导游阿金，一路讲解各种海南特产文化和人生哲理小故事，发人深省；五天四日，心灵旅行，结束过往，重新开始。十二月初恰逢小燕子生日，又去了她一直很期待的海洋水族馆，在三亚未潜水，这一次在绝对安全环境游览了缤纷五彩的海底世界，可爱的企鹅，各种奇形怪状的鱼类、水母等海洋动植物，眼花缭乱，应接不暇。
      这一年把上海的主要景点游玩了一遍，也是这二十多年来出行最多的一年，去了一些也许小时候就该去的地方，打发了一些无聊时光，留下了一些美好的出行记忆，给生活添加了一点乐趣。想想父母们一辈子基本就生活在村里，进个城也是少有的事情，他们觉得出远门即破费了钱财，也没好吃，总觉得不值得，无聊的时候他们就更喜欢打麻将，这样的想法更多的是受知识眼界所限，毕竟他们曾经历过饭都吃不饱的年代，基本没有心思去追求更好的精神生活，希望以后有机会带妈妈到处走走，让她能体会到更丰富的生活。有时也会想起已在天堂的爸爸，十年了，姐姐已经成家有了孩子，我也从高中毕业到了快成家的时候，不想有太多的假设，做儿女我们会尽力照顾好妈妈，让妈妈少操心，至少做一个对家庭有价值的人。
      今年和小燕子认识也有一年了，小燕子是个善良可爱的女孩，她单纯朴实，内心柔软，温柔体贴，虽然说偶尔会有点小任性，但这一点也不妨碍我对她的喜爱，我很幸运能遇见她，我希望能尽力让她开心，也希望以后的路能陪护她、爱护她。她每天都会打电话回家，是个孝顺的乖乖女，十一的时候我们也快认识一年了，我想是时候去她家看看她爸妈，看看她成长的地方，也让她爸妈了解一下我，要不然他们怎么会放心把宝贝女儿托付给我，这是一次逃避不了的考试，虽然小燕子偶尔会说我欺负她，不让我去她家，但这总归是玩笑。每年十一我都会去武汉，到武汉必经南京，而小燕子家在南京，可以说是顺路到她家，一切都比较方便，高铁加公交很快到她家门口，第一次我们都不知道该带点什么东西，到她家旁边的家乐福买了酒和一些水果，内心有些忐忑，听到小燕子说见到她爸妈跟见到她时差不多，顿时舒坦好多。当真正踏入她家门，看到朴实的叔叔阿姨之后，心中少了很多顾虑，果然是什么样的父母就有什么样的孩子，孩子的风格一般受父母的影响较大，在他们的身上同样有小燕子的简单和纯朴，从家里的装修也可略见一斑。阿姨给我们准备了寓意甜美的糖水，叔叔做了小燕子最爱吃的炸鸡腿，我参观了小燕子的卧室以及她们家阳台，在那阳台上我似乎看到了给她高考带来好运的那支鸡，我们一起吃饭、聊家常、看电视，去她家旁边的公园散步，历史悠久的老城区，还保留着明代城墙，顺道拜见了天妃娘娘和各路神仙，阅江楼高高在上，护城河静静流淌，久经风霜，历史厚重感扑面而来。叔叔阿姨了解了我的一些情况，我也告诉了他们我们今后在上海在打算，一切都很简单真诚，在她家那令人难忘的阁楼住了两晚，雨淅沥沥的下，带着阿姨买来的一大堆特产和零食，我很不舍地离开了他们。在去武汉的路上，我就在设想小燕子哪一天去我家，随州老家比较旧，还得装修下，而妈妈常住姐姐那里，我就计划着小燕子先去武汉看看我妈、我姐一家。十一回上海后，我跟小燕子商量元旦去武汉，她欣然同意了，妈妈知道后很高兴，这是她期盼已久的。虽然说临近2017元旦时小燕子身体出了点意外，我们也差点没赶上高铁，但最终我们还是很顺利地到达武汉，感谢小燕子的坚持，带着在水族馆买来的企鹅娃娃，以及小燕子坚持买的一些水果、牛奶，我们见到了妈妈和可爱的外孙女，害羞地小燕子话不多，吃菜也不多，但妈妈仍然很高兴，久久悬在心里的石头落下了，妈妈操劳了一辈子，希望全寄托在儿女身上，儿女的平安幸福是她最大的牵挂。元旦，上午，我们在小区里漫步，没有南京的历史气息，却有着自然宜居的生态环境，水天一色，白鹤成群；下午，我们看了迄今最搞笑的电影《情圣》，滑稽地故事情节，爆笑连连；晚上，不得不看的熊大熊二，光头强的砍树故事，一而再，再而三，小孩子却不亦说乎。两三天，霸道无知地外孙女还没有认识到新来阿姨的重要性，我们就要返程了，远离亲人，牵挂无限，有机遇，也有更美好的生活。2016，对两个家庭是至关重要的一年，也许以后的生活就是在上海、南京、武汉穿梭了。

工作
      跟对人，做对事，既然有个还不错的领导，就安心做事。年初折腾了一下storm/pike后，后续就是跟着team按敏捷做一些固定性的任务，印象中除了改过一两个biprun中比较隐藏的bug外，其他就没什么记忆了，可见上半年比较失败，没有啥具体的收获。上半年team中最重要的一件事就是升级整个Hadoop集群，当时hadoop还停留我刚来公司时的版本，两年已经过去了，社区也发生了比较多的变化，基础如果不升级就面临着很多新功能无法使用，而且无法与其他相关框架进行集成，严重影响team的技术发展，整个升级的实际操作由组里另外一个比较有程序员气质的同事实现，他聪明钻研，细心负责，有点邋遢又有点极客范，有很多程序员该有的特质，由他负责是成功升级的重要保障，而我由于是组里时间最长，不管是从业务上还是技术上对整个平台都是最熟悉的，则起辅助作用，传达业务知识，一起check更改点，保证升级完成后对业务不受影响。在正式升级之前，我推动线上的JDK版本从6升级到7，这是升级的基础，虽然现在Java 7已不是官方维护版本了，但在当时是cdh建议版本；在一个晴朗的周末，开发、运维、测试齐聚一堂，按计划实施整个升级过程，记得当天下午由于已经答应教练做科二的模拟考试不在场，升级期间出现了一些小插曲，但在大家的共同努力下，整个升级过程还算顺利完成，当我模考完成回到公司，他们却已吃完庆功宴回来，说实话还是有点小小的愧疚，毕竟在这么重要的时刻，却没有在现场，现在依稀记得当时出了问题领导打电话过来的紧张语气；hadoop是个宠然大物，业务错综复杂，升级后出问题也不意外，一些边角的业务不兼容问题很快就修复，但是当时出现了集群慢无法调度的问题，用户负反馈不断，但最终大家顶住压力，边解释边解决问题，虽然有些解决方式不漂亮，甚至现在还在线上丑陋的奔跑，但在当时好歹让整个平台恢复了正常，最终一切慢慢恢复正常。后来在公司推出官方技术公众账号后，我写了一篇文章介绍了整个升级背景和过程，总结了经验，受领导重视，作为首发，算不上有多大技术含量，至少是实践的结晶，平时看的技术文章多，比较佩服那些产生实质内容的作者，而那些能长期坚持的就更让人钦佩了。
      貌似升完级是五月底，浑浑噩噩，上半年都快结束了，目标完成后似乎失去了方向，当得知领导决定将Pike开源，我非常主动乐意的把这个工作接了下来，本身我对pike比较熟悉，而且pike是比较有技术含量的，顺便可以了解下开源模式。pike用来将SQL解析成Strom Trident,可以说是我们team技术含量最高的代码，完备解析SQL不是一件容易的事，两三年前由部门老大亲手编写，那部门老大是我工作以来身边见过的最厉害程序员，三十多岁了兴趣点依然在写代码上，不管从技术角度还是工程角度，他都能算是国内顶级程序员一类了，其实从功能的稳定性和丰富程度来说，Spark等开源软件远胜Pike,但在应对中小型初期实时业务需求时，pike简单易用，能满足大部分实时需求；牛人的代码，明朗干净，清晰整洁，对pike的整个逻辑掌握清楚后，去掉一些业务依赖，升级依赖的javacc，我对其增加了用户自定义元数据的接口，补充了pike安装使用文档，将其push到了github上；pike的不足是没有完善的压力测试数据和性能监控指标，为了弄清pike,我走读了jstorm的核心源码，相比基于clojure的storm,简单易读多了，这是第一个我阅读了源码的大数据框架，当我在jstorm官方QQ群宣传Pike时，得到了jstorm作者的肯定，一句小小的你们做的不错，也极大满足了小小程序员的虚荣心。
      在技术上另外一件令人印象深刻的是接触了scrapy,当时为抓取豆瓣电影评分及标签相关信息，简单研究了下爬虫原理，因为一直对python这种glue式语言比较有兴趣，以前只是略有接触，学习过一些语法，这一次终于有机会实践一番，找到了python数据界鼎鼎大名的scrapy, scrapy简单易用，封装了底层网络请求和并发处理，将数据提取、过滤、存储组装成pipeline,用户只需关注提取过滤规则等业务逻辑，只要看懂一个示例，就能拿来即用；试图用scrapy抓取微博用户信息，由于微博很多页面是js动态生成，或许是微博有意为之的反爬措施，又或是技术不过关，总之，没能从微博上抓取任何有价值信息；为了方便展示抓取信息，我又学习同样鼎鼎大名的Django，Django Admin果然是它的杀手锏，运用反射，只需定义显示字段、搜索策略等，就能方便做出个功能丰富的管理后台界面，而且Django文档完善，很快就能找到对应说明文档，这让我对python更有好感；在16年房价一路上涨，当小燕子得知我会抓取数据时，我们有了抓取房源信息的想法，我用scrapy一个周末下午抓取了链家上海所有二手房的房源信息存入数据库，使用SQL按价格、房型各个纬度分析了房屋分布，为各区市场走势提供参考，虽然这并不能为我们最终买房产生什么实质影响，但也算是技术为生活服务，这么久第一次给自己写代码，惭愧惭愧。
      这一年同样经历了被代码折腾的不知所措，当初接手了一个实时更新用户属性的任务，大致逻辑是Spark读取实时数据经过业务变换后写入HBase,大数据搞了两三年了，对当前最流行的Spark却不大熟悉，借这个机会练练手，却发现是个烫手地山芋，对scala不熟，用Java开发，业务需要调用了一些scala代码，编译问题折腾来折腾去，函数语言过程式思维，代码丑陋，业务模糊，代码冗余复杂化，回过头来，一大堆垃圾代码，效率低下，经过不断沟通，总算把业务理清了，代码简化了，但是写HBase及其缓慢，尝试各种方法无果，才意识到对HBase预分区并平均各分区访问频率，业务数据可全量加载到内存而不用依赖HBase IO,目前效率基本能满足需求，但中途觉望时的辛酸，仍心有余悸；前后折腾了一个多月，一度灰心丧气，现在看来其实只需两个星期，主因是业务不清，技术不精，很多时候碰到问题只能自己瞎摸索，影响士气。年底的时候，又在项目代码库中看到了最垃圾的部分代码，让我想起了csdn论坛上经常有码农在接手前人代码时开骂垃圾，不过最终还得忍着脾气、垃圾中挣扎、重构代码、解决业务问题，有时也感慨，码农与码农之间差距真大，有人只追求功能凑合通过，维护垃圾代码，乱上添乱，有人不解业务，明明是垃圾代码，效率低下，却自以为是，这些人同样会混的不错，可见职场不仅仅是技术，有时业务、情商更重要。
      整整一年，我们组在缓慢进步，大部分时候大家其实是看不到发展方向，虽然大家也没有完全闲着，做着一些琐粹的事，但这样导致工作积极性不高，敏捷流于形式。BIP经过五年多的发展，前三年从无到有，快速发展，积累了大量代码，后两年主要完善稳定性和业务功能，该完善的基本都已完善，已然到瓶颈，部门老板又转投其他战场，后续如果不深入研究框架或重构，基本面临无事可做地步，大部分基础大数据平台发展到最后也许都会面临这样的问题，这也是未来公有云的价值。对我个人来说，视野宽度有所扩展，对spring、python、spark有了初步的了解，照葫芦画瓢在bipweb上开发了展示dimension信息的页面，业余时间学习了一些前端相关的教学视频，为学习Machine Leaning重温了概率论和数理统计，重读了数学之美几个篇章，对贝叶斯、决策树有了更深刻的理解，然而这些技术大都处于入门阶段，离真正地生产实用还有很大的距离，而我的目标是做一个比较熟练的全栈工程师，新的一年，希望自己能够熟练运用一些前端知识，选择一两个大数据框架从代码级别深入研究，熟悉scala,重温高数和现代，继续学习ML相关知识，积累厚度，为以后的职业发展奠定基础。

总结
      工作实现自我价值，最终为了更好的生活。房价惹得祸，七月搬离了住了快三年的玉兰香苑，虽然说是屌丝基地，但这三年经历了职业和人生的双重转折。想当初刚来上海，挤着几平米的隔断间，仅够一个人转个身，如今有个十几平米小房间，还有个客厅，公交到公司也算方便，已经很满意了。毕业时职业发展不清，磕磕碰碰，看不到未来，如今心态已成熟，混迹大数据三年有余，水平虽一般，但基本能看清以后发展方向。期间遇到生命中最重要的人小燕子，让我对未来更有信心，感谢领导，感谢公司，让我们一起相遇。花费了N多个周末，驾照已到手，面对腐败黑暗的驾考行业，很多人自欺欺人，做个与众不同的人，真难。这一年因为一些小问题去了医院几次，记忆中以前基本没去过医院，对医院甚至有点恐惧，如今已很坦然，发现医院才是人口最密集的地方，健康最重要，办个健身卡，多活动活动。
      新一年，工作上遇到瓶颈，职业上面临挑战，不断学习，突破自我，是永恒的主题，规划未来，保持自我节奏，坚持实践，必能找到新方向；三十而立，立业上没突破，在成家的路上希望能更进一步；积极乐观的心态，开阔视野，认真生活，不负年轻岁月。