快搜新爬虫研发的曲折之路，十年磨一剑

快搜WAP https://wap.kuaiso.com/，主要针对了手机版的网页抓取任务，太晚了。上车。

1.你认为你在公众评论中找到的餐馆在出现在你的推荐中之前真的受到了数百人的称赞吗？
2.你觉得你在百度上搜索的信息真的是百度希望你看到的吗？(注意这句话的意思，不是日常黑百度)
3.你觉得你在微博上看到的热门话题大V互动是真的在发生吗？
好的，检查你的眼睛。我们准备好开始了。
收到一本《中国焦虑图谱》
最近北京一直在下大雨。人很难走。
我和我最小的弟弟坐在床边喝茶。他望着窗外的阴霾，回忆起痛苦的过去。
每年总有那么几天，小弟会焦躁不安，坐立不安，腰膝酸软，浑身上下湿漉漉的盗汗。那是因为他又要抢回家的火车票了。
瑶歌家在湖南，离北京几千公里。他是家里唯一的儿子，每年买火车票准时出现在家里是他的“职责”。
这两年，他的救命稻草是一款叫“智行火车票”的抢票软件。他以折扣价购买会员。据说会员有特权:即使只拿到一张票，也会被优先考虑。(至少你是这么安慰自己的。(
从技术上讲，耀哥的救命稻草不是抢票软件，而是抢票软件的背后，有无数个叫“爬虫”的东西。
说到这里，华哥不得不给大家介绍一下今天的新朋友:爬虫。
等等，画面不对。应该是这样的爬虫:
爬虫是一种检测机器，它的基本操作是模拟人类的行为，去各种网站，点击按钮，查看数据，或者回看到的信息。就像一只虫子在一栋大楼里不知疲倦地爬来爬去。
你可以简单的想象一下，每一个爬虫都是你的“头像”。就像孙悟空拔了一堆毛，吹出一堆猴子。
你每天使用的百度，其实就是这种爬虫技术的使用:每天都有无数的爬虫被发送到各个网站，捕捉他们的信息，然后化上淡妆，等你搜索。
抢票软件相当于扔出无数个头像，每个头像都帮你不断刷新12306网站上剩余的火车票。一旦你找到一张票，你会马上拍下来，然后对你喊:土豪，快来付钱。
就在上周末，一个黑客朋友于峰神秘地给我发了一份中国爬虫图集。主要负责在腾讯云顶实验室加班，和同事一起开发了很多黑技术。例如，他们建立了一个威胁情报系统，声称可以检测世界各地的“爬行动物”在做什么。
我吹口哨打开画册，但一分钟后，我全坏了。
我看到了另一个平行世界:
在我们这边的网络上，已经布满了各种各样的网络爬虫，它们各不相同，各有心思。而且每个人的切身利益越多，爬行动物就越多。
最后发现这不仅是一本中国爬虫图集，还是一本中国焦虑图集。