爬虫项目实战四：爬取语录大全

目标

爬取语录，批量下载到本地。

项目准备

软件：Pycharm
第三方库：requests,fake_useragent,re,lxml
网站地址：http://www.yuluju.com

网站分析

打开网站。

有很多分类，不同类型的语录。
点击爱情语录，发现上方网址变化为http://www.yuluju.com/aiqingyulu/

点击搞笑语录，也会发生类似的变化。

以下类似。
判断是否为静态网页。

有页码跳转一般为静态网页。
Ctrl+U查看源代码，Ctrl+F调出搜索框，输入一些网页上出现的文字。

可以找到。静态网页。

反爬分析

同一个ip地址去多次访问会面临被封掉的风险，这里采用fake_useragent，产生随机的User-Agent请求头进行访问。

每一页的链接分析

第一页：http://www.yuluju.com/aiqingyulu/list_18_1.html
第二页：http://www.yuluju.com/aiqingyulu/list_18_2.html
第三页：http://www.yuluju.com/aiqingyulu/list_18_3.html

可以发现，每页的变化会随着数字变化。
当然这里分析的是爱情语录这一栏目，其它的也类似。

代码实现

1.导入相对应的第三方库，定义一个class类继承object，定义init方法继承self，主函数main继承self。

import  requests
from fake_useragent import UserAgent
from lxml import etree
class yulu(object):
    def __init__(self):
        self.url = 'http://www.yuluju.com'
        ua = UserAgent(verify_ssl=False)
        #随机产生user-agent
        for i in range(1, 100):
            self.headers = {
   
                'User-Agent': ua.random
            }
    def mian(self):
    	pass
if __name__ == '__main__':
    spider = yulu()
    spider.main()

2.交互界面

print('		   1.励志语录\n'
              '2.爱情语录\n'
              '3.搞笑语录\n'
              '4.人生语录\n'
              '5.情感语录\n'
              '6.经典语录\n'
              '7.伤感语录\n'
              '8.名人语录\n'
              '9.心情语录\n')
        select=int(input('请输入您的选择：'))
        if (select==1):
            url=self.url+'lizhimingyan/list_1_{}.html'
        elif (select==2):
            url = self.url + 'aiqingyulu/list_18_{}.html'
        elif (select==3):
            url = self.url + 'gaoxiaoyulu/list_19_{}.html'
        elif (select==4):
            url=self.url+'renshenggeyan/list_14_{}.