python爬虫技能总结-快速爬虫指导-含代码演示---[最强の提纲挈领！]

关于本文：

1. 本文主要目的为提纲挈领，爬虫知识总览
2. 内容包含爬虫所依赖的知识以及爬虫流程
3. 相关技能点请自行查找，网上文档较全面
4. 代码演示只给了一个项目，建议动手实践

---

目录

分析工具

所需技能点-了解即可，建议实践中深入研究

手动爬虫流程-编码逻辑

scrapy爬虫流程-启动过程

数据存储/持久化

反爬对抗策略

可练手项目：注意编解码问题

代码/项目演示：爬取XX贴吧图片

---

分析工具：

• F12开发者工具-分析页面结构/请求数据
• fillber抓包工具-分析请求数据

所需技能点-了解即可，建议实践中深入研究

• 前端相关知识 html、css、js、ajax，能够分析页面
• http请求知识 GET/POST，请求行/头/体，响应行/头/体
• 请求页面的库 urllib&requests库 手动编写爬虫使用的库
• 解析页面模块 re&BS&Xpath 解析网页数据所依赖的模块
• 正则表达式 最原始万能解析页面/文本方法
• 请求页面方式 深度/广度 遍历页面的方式
• 开源爬虫框架 scrapy ，结构清晰
• 基础反爬策略 User Agent、代理池，快代理等免费代理
• 高级反爬策略 Pillow+pytesseract 验证码识别
• 模拟人工访问 selenium 模拟人工访问站点
• 爬虫限制条件 robots协议 官方的爬虫限制条件
• 官方网站地图 sitemap，官网提供可以供访问的url

补充：re正则中贪婪/非贪婪的区别---后者有'?'

• 贪婪：在匹配成功的前提下，尽可能多的匹配*
• 非贪婪：在匹配成功的前提下，尽可能少的匹配*

手动爬虫流程-编码逻辑

1. 设置种子/起始站点，运用广度/深度算法

2. 用一个队列保存url

3. 获取当前页面每个url下的外链

4. 递归调用遍历网站获取所有url

5. 进入每个url获取数据

scrapy爬虫流程-启动过程

1. 框架安装|命令

pip/conda install scrapy

2. 项目新建|命令

scrapy startproject [工程名]
会创建结构化的项目代码

3. 爬虫创建|命令

scrapy genspider [蜘蛛名称] [网站域名]
会生成'蜘蛛名称.py'：
路径：工程文件/spiders/蜘蛛名称.py

4. 爬虫配置|设置

修改settings.py中USER_AGENT等
修改middlewares.py，设置中间件，cookies、重连、重定向、ajax、代理等
修改items.py，设置ORM 关系映射，添加items数据，数据清理
修改pipelines.py:保存数据的逻辑=》数据库|本地文件(json/excel)

5. 爬虫编码|主体逻辑

def parse(self,response):
添加方法即可

6. 项目启动|命令

scrapy crawl 爬虫名称

数据存储/持久化

• 结构化数据：有关联关系的数据==》mysql存储
• 半结构化数据：HTML，XML和JSON==》nosql存储

• 非结构化数据：文档、图片、影音==》二进制存储

• 注意：json格式严谨，双引号，逗号

反爬对抗策略：

1. 第一步：重构User-Agent，模拟真实浏览器
2. 第二步：使用代理服务器，伪装IP
3. 高级：延迟、重定向、验证码等问题，具体情况具体解决

可练手项目：注意编解码问题

项目	所需技术	说明
xx贴吧图片	requests+lxml.etree	结构化比较强
w3c教程笔记	urllib+re	爬取文本数据
ftp下载文件	urllib+re	需有ftp服务器

代码/项目演示：爬取XX贴吧图片

import requests
from lxml import etree


class BaiduImageSpider:

    def __init__(self):
        self.headers = {"User-Agent": "Mozilla5.0/"}
        self.baseurl = "http://tieba.baidu.com"
        self.pageurl = "http://tieba.baidu.com/f?"
    # 获取每个帖子的url

    def getPageUrl(self, params):
        # 得到贴吧第1页html源码
        res = requests.get(self.pageurl, params=params, headers=self.headers)
        res.encoding = "utf-8"
        html = res.text
        # 从html源码获取帖子链接 '/p/2323432'
        parseHtml = etree.HTML(html)
        t_list = parseHtml.xpath(
            '//div[@class="t_con cleafix"]/div/div/div/a/@href')
        # ['/p/2342443','/p/08098034']
        for t in t_list:
            t_url = self.baseurl + t
            self.getImageUrl(t_url)

    # 获取帖子中所有图片的URL
    def getImageUrl(self, t_url):
        # 获取帖子的html源码,为了从中筛选图片URL
        res = requests.get(t_url, headers=self.headers)
        res.encoding = "utf-8"
        html = res.text
        # 得到图片URL
        parseHtml = etree.HTML(html)
        i_list = parseHtml.xpath('//img[@class="BDE_Image"]/@src')
        #['http://...jpg','http://...png',...]
        for i in i_list:
            self.writeImage(i)

    # 保存到本地
    def writeImage(self, i):
        # 获取图片的html源码 bytes
        res = requests.get(i, headers=self.headers)
        res.encoding = "utf-8"
        html = res.content
        # 保存到本地
        filename = i[-10:]
        with open(filename, "wb") as f:
            print("%s正在下载" % filename)
            f.write(html)
            print("%s下载成功" % filename)

    # 主函数
    def workOn(self):
        name = input("请输入贴吧名字:")
        begin = int(input("请输入起始页:"))
        end = int(input("请输入终止页:"))
        for page in range(begin, end + 1):
            pn = (page - 1) * 50
            params = {
                "kw": name,
                "pn": str(pn)
            }
            self.getPageUrl(params)

if __name__ == "__main__":
    spider = BaiduImageSpider()
    spider.workOn()