有段时间没写东西了,如果你在萌新群里,应该知道我最近换工作的事。简单说,就是辞去了北京的工作,在杭州找到了新工作。
看到手里的离职证明,想着还是写点什么,记录下我毕业后的第一份工作,在这里我做了什么,学到了什么。
到来
17年6月分毕业户就来到了北京,我清楚的记得去北京是坐的普快,那天晚上是欧冠决赛,皇马是冠军。我去查了下,是2017年06月04,皇马赢了尤文图斯。(我是C罗球迷)
开始
一个人来到北京,确实有很多不适应的地方。首先住的地方,朋友帮我在6号线的东夏园租了一个1000元的小房子,小区特别偏僻,吃饭的地方很少,而且北方煎饼果子和面食特别多,刚开始很不适应,后来慢慢好了点。
公司刚开始在青年路站,后来搬去了十里堡。所以出行还是很方便的,就在6号线,早上上班还有座位可以坐。造数之前的产品主要是数据采集工具,现在可以免费试用:造数 - 新一代智能云爬虫,虽然很多网站用不了。
我刚开始做的有一部分运营的工作、也有配合其他人录制了爬虫视频教程,现在回去简直没法看,感觉太傻了,你们千万别去看。如果要学爬虫的话,等我把这个写完:数据采集从入门到放弃
转岗
我是在造数内部完成的转岗,成为爬虫工程师。一方面是我有爬虫方面的基础,并一方面业务需要招了需要很多数据。转岗确实不容易,需要学习很多东西,也需要一点运气,感觉最重要是就是坚持吧。
做的第一个项目是有人带,前前后后有一个多月才算完工,虽然最终的爬虫很简单,中间却踩了不少弯路,也在使用中对Scrapy越来越熟悉,也知道如何在Scrapy的基础上再次开发,也就是造轮子,这些轮子在后来此类的项目中基本是在一直使用。
再到后来基本上就是自己独立负责N个项目了,感觉每做一个项目,就遇到一些坑,然后就会新学到一些技能,成长会比较快。这也是一个很有趣的过程。
会有加班,最晚的一次是凌晨两点吧,其实我现在回想加班的原因主要是自己能力太差,如果当时水平再好点,就不至于加班这么晚。
学习
我觉得自己比较大的优势在于学习吧,从最开始学习编程开始,就会把自己所学记录下来,刚开始是在知乎上,后来用hexo搭建了自己的博客,后来写公众号,打算以后再用tornado来写个博客。
关于学习这个东西,所学一定要有所用,不然一定会忘记。某个东西在需要的时候再去学习,然后将所学用到实际项目中,再有人指点一二,会很快掌握新的技能。
我一般遇到问题会有如下解决方法:
首先肯定是去Google,注意需要把你的中文先翻译为英文
根据搜索结果去尝试,stackoverflow实在是太好用,可以解决一半的问题
如果尝试失败,再去问可能知道这个问题的人。不建议在网上问,效率低下,直接去找公司大佬问。
在通过各种途径解决该问题后,我会记录下来,一般会发在博客中。所以你看我的博客里,大多是针对某一个具体问题的解决方案,很少有类似于"我爬了xx数据,研究出xx结论"此类文章。
以后再遇到此类问题,我会迅速想到自己写的,就会打开博客,找到那篇文章阅读。
造数有很多技术大牛,在某些领域上专攻,所以在遇到问题基本上都可以去问他们,这种方法比在微信上问别人好得多。
技能
列举下自己在造数所学到的或者能使用的技能点,我也在简历中有写出来:
Python3、Scala、Go、SQl
Requests、Scrapy、Scrapy-Redis、Bloom filter
IOS逆向(静态IDA、动态hook)、JS断点
Selenium、Appium、Airtest
MongoDB、MySQL、Redis、Docker
Xpath、bs4、css、jQuery、Regular Expression
Fiddler、Charles、Wireshark、Mitmproxy
Flask、Pandas、Spark、TensorFlow
以上这些技能点基本上都可以在历史文章中找到身影,这些也是做爬虫所需。当然,也还有一些我不大了解的,像aiohttp、rabbitmq、celery等,没有在实际项目中使用过,不敢说自己会用。在爬虫部署、框架开发、代理池设计等方面也需要提高。
离开
今年开年后,我搬到沙河,而造数在朝阳,每天6点半起床,坐两小时地铁,距离原因,所以提了离职,在朋友内推下来到小黑鱼,在杭州。
总的来说,在造数真的学到了很多,作为毕业后的第一份工作,虽然是小公司,我觉得很开心的。看我的github仓库提交记录,我只想说:真实!
2019年4月4日来到杭州,那天还下着雨,所以记得很清楚。现在已经安定下来,在公司5分钟路程租到了房子。明天就会入职新公司,希望可以好好做吧。刚来到杭州没几天,我觉得杭州很不错,住着比北京舒服,环境比北京好。
如果有杭州的小伙伴,欢迎面基。