python编写的bt爬虫实践

前言

网上各种爬虫实战都有很多，比如爬取微博，贴吧消息，妹子图等等。但是爬bt的就很少了（似乎暴露了什么。。。），所以准备自己动手写一个爬bt的爬虫。

好的，话不多说进入正题，博主用的python3.6，ide用的sublim。

正文

首先就是寻找一个合适的bt搜索网站，记得以前有好多著名的bt站，比如种子列表，或者torrentkitty什么的，后来由于某些大家都知道的原因，这样的网站封禁了一大批。所以这次我选用的是一个名叫btbook的网站。emmm，虽然也有广告，但是算非常少的一个了，页面也比较干净。（大家不要好奇去点弹出的X榴社区的广告，那是假的！假的！）

用谷歌或者火狐自带的开发者工具。f12一下，可以看到网页源码，找到搜索框部分，如下

可以看到在一个id=“search-form”的表单里边有我们所需要的东西。我们还发现了更多的信息，比如通过这个表单向服务器传送数据的方法是get，文本框的name=‘q’等等。

接下来肯定是要导入各种爬虫所需要的库，urllib用于进行一系列对url的操作，BeautifulSoup用于解析html，使其变成字典或者数组，比起正则表达式来说方便了许多。   

我们先编写代码尝试获取一下网站的html源码

[python]  view plain  copy