前言
16年1月写了篇,这些年,我工作上走过的路,17年1月写了篇2016,我的技术和诗。18年有些遗憾,没有写。
今天又是一个跨年夜,也到了回顾和盘点18年的时候了。
技术到产品
18年技术上我的核心点是如何让算法能够迅速落地,为此分成两个层面进行了探索,一个是技术上的,一个是组织形态上的。
技术上如何让机器学习落地
基本上汇总在这个专题里了:Spark和机器学习。 核心探索了如何整合Spark和机器学习框架,如何降低研发到算法的成本,从一开始以Tensorflow/PySpark方向入手,了解TFoS,Spark Deeplearning,MLFlow等项目到最后选择了一个再研发一套DSL的道路。
团队组织架构如何让机器学习落地
18年对团队,我也有了不少的思考,也深刻感受到了程序员的黑客时代已经远离,如何组织团队完成一个目标变得更加重要,这期间,我重点思考了,一个团队如何进行组织架构才能让机器学习更快更好的进行落地,这些思想主要汇总在专题 机器学习团队思考中。
MLSQL
如果说15,16,17年都属于技术积累时期,那么18年则属于真正的技术转化为产品期。前几年我就像成长的一个小青年,不断吸取和实践,并且抽象出理论,所以其实在认知上不断变化,之前还花了巨大的时间成本捣鼓了一个算是失败了的系统猛犸,到现在重点投入的MLSQL[https://www.jianshu.com/p/4cc736d153e3]. MLSQL 我在大数据领域的认知沉淀的一个产品。
这一年(18年)我致力于MLSQL[https://www.jianshu.com/p/4cc736d153e3],并且把该项目成功应用在自己的所在公司,并且外部也有不少公司使用了它。
后半年MLSQL也初步形成了社区(虽然还很小,依然以我为主,但也是个巨大的进步)以及进入了稳步的发展迭代流程。
关于云和PyMLSQL
最近一两个月,更多的是对云的思考。我认为,未来一个程序员很重要的技能,就是对云的编程能力。这期间的一个实践成果体现在文章如何用PyMLSQL操作阿里云ECS里的PyMLSQL项目里。云的本质其实把运维,把服务都API化了,而当年贝索斯说一切都是API,然后发展到极致,就是云。基于云,我们可以更加聚焦于业务而非IT技术本身。
中国到世界
中国到世界并不是指技术,而是我的生活。今年在媛媛的带领下,我第一次踏上了台湾,接着去了日本,这在我之前只是想想而已,感觉离我比较遥远的事情,因为我并不太会策划这些事情,媛媛默默地为我安排和做好这一切。这里真的要感谢她,让我的世界除了代码,还有更多丰富多彩的美食和人文。
我们今年也去了很多国内的地方,以前我总觉得全国都是一样的,但是你用心去找,总能找到很多不一样的地方,比如我现在就在美味粤食之地的顺德在敲打着这些文字,广东的点心是真的很好吃,茶楼文化也很适合我,最重要的是,天气也不寒冷。
另外一个让我印象深刻的地方是渔山列岛,在那里吃到了我觉得这辈子最新鲜和美味的海鲜,之后让我再也觉得其他地方的鱼不再好吃。