杂谈——爬虫和新技能的学习

有感而发，写在这里。

很久以前，我无意中打开了一个帖子，名字大概是《教你用Python爬取妹子图》，浏览之后，惊为天人。

Python是什么？几十行代码可以做那么多事？
爬虫真牛逼，我自己可以写一个吗？

之后我就自己照着帖子写代码，爬取失败了，到处搜索资料，最后知道这是被“反爬”了，这个网站对refer参数进行了限制，改了refer之后，一盏茶的功夫，几千几万张少儿不宜的大尺度图片进入了我这个社会主义接班人的电脑。
但我很想知道，为什么是根据Refer参数进行了反爬，他是怎么知道的？我怎么才能和他一样厉害？要经过怎样的系统学习和实战？

那个时候我觉得能爬妹子图的就已经是大佬了，简直是魔法一般的操作，不知道自己得要多久才能学会达到
他们的境界。

结果没过几天，我惊讶的发现自己已经掌握了妹子图的爬取。之后我开始接触更多的爬虫，接触了其他的反爬和网站，也产生过其他各种各样的错觉，比如下面这些：

• 能爬大众点评的也太厉害了吧！
• 能使用多进程多线程协程的也太厉害了吧！
• Selenium简直是魔法，牛逼！
• 会使用代理太厉害了！
• Scrapy太厉害了！我什么时候能学会？？

但之后我发现，这些技能的掌握都比想象中要简单，少则几天，多则一个月两个月，这些我一度以为无法掌握的技能就都成了囊中之物。

至今我仍然会有一些感慨，比如说：

• 会通过深度学习解决验证码问题也太厉害了吧！
• Js逆向也太厉害了吧！

但我已经不会再有崇拜或者恐惧，任何技能都是可习得的，在实践中我不断意识到这一点。

既然说一切技能都可习得，那们个人发展和职业发展中的竞争力在哪里？
无非是两个，学的更快，或者学的更好。
一个人会web爬虫不稀奇，但他还会用机器学习解决反爬，同时还掌握了App逆向的技能，偏偏这个人才刚入职场，那就很牛逼。
一个人只会爬虫，但他没有什么网站爬不到爬不了，那也很牛逼。

如果你想通往技术的深度和广度，自学完全可以，只不过要走很多弯路，一天时间解决一个环境配置的问题是自学路上很正常的事儿，但面向谷歌编程也会强化你正确清晰表述问题、思考问题、探索解决方法的能力。

我看过各种各样的教程，各种各样的网课，但很少有过瘾的感觉。

文字教程的通病是太零散，几乎没有人会些一二百讲，体系连贯的文字教程，大家都是工作人，时间都宝贵，写的blog都是针对具体问题而言的。
网课和培训的通病有三个，一是太浅，9102年了，爬虫90%的网课都还在讲豆瓣和安居客；二是太旧，除非买课，否则各种渠道的网课资源普遍是1718年的，爬虫和反爬日新月异，帮助不大；三是教学体系的问题，这可能是我个人的小毛病，我个人不太喜欢先搞20集Java基础，再弄三十集c和c++，最后50讲实战。我更喜欢基础部分尤其是语法，直接看书获取知识，已经有太多经典的入门书了，它们写的比任何网课都好。教程应该更直接，更专注实战，在实战中不断学习、夯实、补充基础，这是我更喜欢的方式。大多数教程实战部分都偏弱。

基于此，我尝试自己做一套Android逆向的教程，尽量以实战为主，尽量详细和充实，由浅入深，希望能给Android逆向入门的同学们更多一个选择。