2014年度总结

2014年（农历）最后一下午的班了，不想工作，属于年前综合征，那就写写2014年的总结吧。
5月8号前，从事电商行业，数据相关的工作，其实无非也就是数据采集、加工、统计的工作，或多或少了解一些电商的业务。
5月8号后，从事广告行业，了解一些一切从未接触过的东西：广告联盟、DSP、DMP、network、native等等广告形式，当然我肯定不是去做业务的，还是老本行，搭建离线计算平台，而且是在亚马逊云主机上搭建的。
话说亚马逊有他们的一套EMR，数据可以存储在S3上，可根据自己的需要扩展EMR计算资源，但考虑到我们有很多业务需要直连集群处理，选择了EC2+外挂磁盘的形式。目前集群规模不算大，但已经够费钱的了。有人要问为啥非要在亚马逊云上搭建集群，在国内自己搭建个机房岂不是一劳永逸。咔！业务！公司的业务决定了数据流入国内是不行的，网络太差，而云主机恰恰能满足这点。
说着说着貌似不是在做总结了，言归正传，这半年来搭建了cloudera版本hadoop集群，而且是使用cloudera manager管理整个集群。出于安全考虑，做了kerberos安全验证，说实话，这个够折腾人的，特别是对外提供服务，为了让其他业务组方便的访问hive或者impala，配置了LDAP，为了控制各个业务组的权限，配置了sentry服务。目前整个集群每天数据流入量不到1T，计算量还没有实质性增加。另外数据采集和处理工作是少不了的。虽然cloudera文档很全，但有些描述的很乱，即使你耐心按照它的配置一步步来，结果却不一定是预期的。
在集群稳定下来后，做了一些数据分析的工作，例如广告联盟的的反zuobi，DSP的CTR预测，DMP中的用户标签。如下慢慢道来。
广告行业貌似有两件事必须做的，一个是反zuobi，另外一个是CTR/CVR预测，我都碰了碰，是不得沾沾自喜，啊哈，但我只能说“说多了都是泪”，好吧，再苦的瓜也要吃，谁让这条路是我自己选的呢。从自身方面看，广告业务知识不专业，数据不够理解，虽然是数学出身，但算法接触的少，只会从数据统计方面，外加业务人员提供零星zuobi案例出发，过滤出一些可能zuobi的数据，供“业务人员参考”；从公司看，“业务人员”根本不屌你......不了了之。
CTR预测，出于自己的兴趣，使用DSP的测试数据，抽取了一部分特征，采用spark现成的逻辑回归（lr）建立模型，预测ROC的值达到0.8，虽然ROC效果不错，没有拿去DSP正式环境中测试，也不知道真实效果怎么样，不过怀疑是肯定有的，因为抽取的特征数据很不全，DSP业务组对这个也不感兴趣......又不了了之。
用户标签，虽然我们公司各个广告业务线都在搞，但说实话，数据建设还在初级阶段，用几个字来形容：乱、不全、不可用，数据mapping目前DMP组的人已经构建了雏形，架子是有的，但数据mapping不到一起就是空架子，这不能单单从技术层面上做，必须业务角度解决数据的各种问题。扯远了，计划从用户年龄、性别、应用偏好、消费水平、地域、online时间等方便考虑，最终结果只有应用偏好有些效果，使用的是用户的applist数据，根据app的分类，使用tfidf计算权重，tfidf理论上是做词语权重，但在这里测试的效果却很明显。此外，写了一堆mapreduce，想从app描述信息中，计算用户对某一些词语的权重，效果不佳。后续考虑使用权重高的词对用户聚类，从而给用户打上一些词标签。
如上所诉，其实今年的数据分析工作，业绩是0，汗颜啊。
今年还买了一些书，吴军的《数学之美》，《浪潮之巅》，确实写的不错，不过看了一些吴军的演讲视频，感觉他人太屌了，不太喜欢这个人的风格。还买些大学都学过的一些书，5年过去了都忘了，概率论、数理统计、运筹学、高等数学等，读书时就是为了考试而读书，现在发现有些知识真的可以在工作和学习中使用，后悔莫及。
这就是一年来做的事，如果满分是100分的话，我只能给自己打40分。看了飞林沙的[url=http://www.36dsj.com/archives/18821]一篇blog[/url]后，更找不到北了，我是个合格的hadoop工程师么，不是；我是个合格的数据仓库师么，不是；我可以称为数据分析师么，更不是。飞林沙同样是毕业5年，差距太大了，不仅是技术上，且在思想、见识上。以前的目标是做一个数据分析师，貌似渐行渐远了。
何去何从，得好好想想了。