2019年总结

总结一下这一年学过的、做过的、需要反思的一些东西

1月

这个月解除了内心关于学习方向上的疑惑，大致看完了python基础，学会了最简单的爬虫

2月

强化爬虫技术，把爬虫的大部分方面都了解和实践了一遍，verify、proxy、selenium、模拟登录、图片验证码、scrapy框架

3月

整了一下 ip池、css反爬，后边学了 web 框架 Django，刚开始学django 的时候，别人告诉我这个框架是 MVC 模式，其实这个框架 MVT，别人告诉我几万数据量太大，要放到txt文件里面读？然后我就把别人封装好组件自己全部写了一遍。后面才知道用数据库。不过在自己实现一些组件的时候发现了一些有用的技巧，比如把内置对象序列化作为全局变量，可以在框架跳来跳去的代码里面访问全局变量（主机上的文件可以直接作为全局变量），当然这个技巧只是适用于做一些小项目了。

4月

和前端沟通，整合别人的代码，这个工作确实不好玩呢！所以我下定决心，以后不想做后端了！当然还是得会。。这个月去参加比赛了，作品就是前段时间做的那个项目，上来评委就直接问你原理了？！然后就凉了，所以不能光调 api ，底层的东西还是得会的。

5月

使劲儿看《利用python进行数据分析》，学了一下numpy、pandas、matplotlib，整了一个综合爬虫、数据可视化的项目，这个项目主要是反爬比较强，可视化用的是echarts，还行吧。

6月

被告知要提前学一下网络，那个时候是真的不想学，硬着头皮学吧。没学多少东西，然后就被喷了。

7月

老师说我的暑假任务就是去看数据分析、数据挖掘的东西，wc！太高兴了，我就想搞这个，然后欣喜若狂的回家过暑假了，暑假的 7月，补了一下线代基础的东西和概率基础的东西，然后看了决策树、knn、kmeans算法，算是最简单最基础的机器学习算法了。

8月

提前回了学校，学了线性回归、逻辑回归、朴素贝叶斯，当然了，这东西确实不好学呀。。还有稍微看了一下人工神经网络，没深学。月末就帮老师收集整合了一些 ipv6 的东西，包括用聚类算法等弄一些东西（机密）

9月

学了关联规则，用 apriori 算法整了点东西（机密），学了HMM模型，对HMM的 3 个算法进行了推导，月末的时候在 kaggle 上找了一个数据集，尝试数据分析与挖掘，结合别人的 kernel，收获挺大的。

10月

看了很多数据科学竞赛的冠军方案，总结了一下别人用得最多的技术。学了 xgboost；月末写了一个知网爬虫，挺难爬的。

11月

去 k—lab 上找了一个新手赛，学了一下 xgboost 大致的调参步骤，加上新学到的一些特征工程的方法，把这个数据集做了个预测，最后排名200多，还行吧。。然后买了一本关于推荐系统的书，大致看了一下推荐系统的知识体系，学了itemCF、userCF等最基础的推荐算法。

12月

整了个关于物流的项目，做的是运输导航、订单分配等，第一次写了快1000行的代码吧。。加强了图相关的操作和算法吧，Dijkstra，深度优先搜索、广度优先搜索等，订单分配用的是动态规划。

总结反思：

1. 新接触，新学习一个技术的时候，要找到这项技术重点要学习的内容，可以去当当网上搜相关的书籍，看书籍目录共同提到的点；看这个技术涉及到的基础知识，比如数学基础、网络协议。
2. 在写重要算法，做一个项目的重要部分的时候，一定要先了解好业务需求，在纸上写清楚代码逻辑，在去写代码。
3. 多去阅读知乎、微信公众号，学习一些大佬的项目总结、学习经验，了解更多当前行业的状况，技术革新。