Python网络爬虫

1.创建项目

打开一个终端输入（建议放到合适的路径下，默认是C盘）scrapystartprojectTXmoviescdTXmoviesscrapygenspidertxmsv.qq.com

2.修改setting

修改三项内容，第一个是不遵循机器人协议，第二个是下载间隙，由于下面的程序要下载多个页面，所以需要给一个间隙（不给也可以，只是很容易被侦测到），第三个是请求头，添加一个User-Agent，第四个是打开一个管道ROBOTSTXT_OBEY=False

DOWNLOAD_DELAY=1DEFAULT_REQUEST_HEADERS={'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Language':'en','User-Agent':'Mozilla/5.0(WindowsNT6.2;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/27.0.1453.94Safari/537.36'}ITEM_PIPELINES={'TXmovies.pipelines.TxmoviesPipeline':300,}

3.确认要提取的数据，

item项item定义你要提取的内容（定义数据结构），比如我提取的内容为电影名和电影描述，我就创建两个变量。Field方法实际上的做法是创建一个字典，给字典添加一个建，暂时不赋值，等待提取数据后再赋值。下面item的结构可以表示为：{'name':'','descripition':''}。#-*-coding:utf-8-*-#Defineherethemodelsforyourscrapeditems##Seedocumentationin:#https://docs.scrapy.org/en/latest/topics/items.htmlimportscrapyclassTxmoviesItem(scrapy.Item):#definethefieldsforyouritemherelike:#name=scrapy.Field()name=scrapy.Field()description=scrapy.Field()

4.写爬虫程序

我们要写的部分是parse方法里的内容，重点在于如何写xpath，XPATH教程引入刚刚写好的item,刚刚说了item里面创建的变量就是字典的键值，可以直接进行赋值。赋值后交给管道处理。简单讲一下这一段代码的思路，首先腾讯视频的url为https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset=0&pagesize=30我们注意到offset这一项，第一页的offset为0，第二页为30，依次推列。在程序中这一项用于控制抓取第一页，但是也要给一个范围，不可能无限大，否则会报错，可以去看看腾讯一共有多少页视频，也可以写一个异常捕获机制，捕捉到请求出错则退出。我这里仅仅是示范，所以只给了120，也就是4页。yield程序里一共有两个yield，我比较喜欢叫它中断，当然中断只在CPU中发生，它的作用是移交控制权，在本程序中，我们对item封装数据后，就调用yield把控制权给管道，管道拿到处理后return返回，又回到该程序。这是对第一个yield的解释。第二个yield稍微复杂点，这条程序里利用了一个回调机制，即callback,回调的对象是parse,也就是当前方法，通过不断的回调，程序将陷入循环，如果不给程序加条件，就会陷入死循环，如本程序我把if去掉，那就是死循环了。yieldscrapy.Request(url=url,callback=self.parse)xpath还有一个要注意的是如何提取xpathl里的数据，我们的写法有四种，第一种写法拿到selector选择器，也就是原数据，里面有一些我们用不到的东西。第二个extract()，将选择器序列号为字符串。第三个和第四个一样，拿到字符串里的第一个数据，也就是我们要的数据。

items['name']=i.xpath('./a/@title')[0]items['name']=i.xpath('./a/@title').extract()items['name']=i.xpath('./a/@title').extract_first()items['name']=i.xpath('./a/@title').get()

#-*-coding:utf-8-*-importscrapyfrom..itemsimportTxmoviesItemclassTxmsSpider(scrapy.Spider):name='txms'allowed_domains=['v.qq.com']start_urls=['https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset=0&pagesize=30']offset=0defparse(self,response):items=TxmoviesItem()lists=response.xpath('//div[@class="list_item"]')foriinlists:items['name']=i.xpath('./a/@title').get()items['description']=i.xpath('./div/div/@title').get()yielditemsifself.offset<120:self.offset+=30url='https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset={}&pagesize=30'.format(str(self.offset))yieldscrapy.Request(url=url,callback=self.parse)

5.交给管道输出管道

可以处理提取的数据，如存数据库。我们这里仅输出。#-*-coding:utf-8-*-#Defineyouritempipelineshere##Don'tforgettoaddyourpipelinetotheITEM_PIPELINESsetting#See:https://docs.scrapy.org/en/latest/topics/item-pipeline.html

classTxmoviesPipeline(object):defprocess_item(self,item,spider):print(item)returnitem

6.run，执行项目

from scrapy import cmdline

cmdline.execute('scrapycrawltxms'.split())

7.测试结果白色的管道输出的结果

，红色的调试信息8.流程梳理新建项目-》进入项目-》新建爬虫文件-》明确抓取的内容，写item-》写爬虫程序，爬取数据-》交给管道处理数据-》调整全局配置setting-》执行爬虫程序，可以通过终端或者在程序

8.流程梳理

新建项目-》进入项目-》新建爬虫文件-》明确抓取的内容，写item-》写爬虫程序，爬取数据-》交给管道处理数据-》调整全局配置setting-》执行爬虫程序，可以通过终端或者在程序里写一个run程序

9.提速：

多线程爬取如果你实现了上面的实验，不难发现其爬取速度是非常慢，根本的原因就是因为它是顺序执行的，你可以从结果中看出，总是前面一页的内容被输出，再输出后面的内容。不适合处理数据量较大的情况，一个好的方式是采用多线程的方法，这里的多线程是基于方法的多线程，并不是通过创建Thread对象来实现，是在一个方法中，一次性把请求交给调度器。我们通过重写start_requests方法来实现我们的想法（这个方法的源码在__init__.py下面，有兴趣可以看一下）

#-*-coding:utf-8-*-importscrapyfrom..itemsim

portTxmoviesItemclassTxmsSpider(scrapy.Spider):name='txms'allowed_domains=['v.qq.com']url='https://v.qq.com/x/bu/pagesheet/list?append=1&channel=cartoon&iarea=1&listpage=2&offset={}&pagesize=30'offset=0defstart_requests(self):

foriinrange(0,121,30):

url=self.url.format(i)yieldscrapy.Request(url=url,callback=self.parse)defparse(self,response):items=TxmoviesItem()lists=response.xpath('//div[@class="list_item"]')foriinlists:

items['name']=i.xpath('./a/@title').get()items['description']=i.xpath('./div/div/@title').get()yielditems