《用Python写网络爬虫》读书笔记3

最新推荐文章于 2022-03-17 00:41:32 发布
最新推荐文章于 2022-03-17 00:41:32 发布
阅读量301 收藏
点赞数
分类专栏： IT书籍读书笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zengraoli/article/details/105064247
版权

文章目录

验证码处理

验证码示例有：http://example.python-scraping.com/user/register

这个验证码可以看到是一个二进制数据，用base64压缩过的

在这里插入图片描述

pillow加载web中的二进制验证码

我们想办法用requests拿到这个数据并逆处理让pil显示出来

#!/usr/bin/env python
# encoding: utf-8

from io import BytesIO
from lxml.html import fromstring
from PIL import Image
import base64
import requests

def get_b64_string(html):
    tree = fromstring(html)
    img_data = tree.cssselect('div#recaptcha img')[0].get('src')
    img_data = img_data.partition(',')[-1]
    return img_data

def get_captcha_img(html):
    tree = fromstring(html)
    img_data = tree.cssselect('div#recaptcha img')[0].get('src')
    img_data = img_data.partition(',')[-1]
    binary_img_data = base64.b64decode(img_data)
    img = Image.open(BytesIO(binary_img_data))
    return img

def img_to_bw(img):
    gray = img.convert('L')
    bw = gray.point(lambda x: 0 if x < 1 else 255, '1')
    return bw

if __name__ == "__main__":
    url = "http://example.python-scraping.com/user/register"
    headers = {
        'User-Agent': "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10", }
    html = requests.get(url, headers=headers)
    b64_string = get_b64_string(html.text)
    print(b64_string) # 原始的base64数据
    img = get_captcha_img(html.text)
    print(img)
    img.show() # 显示出来
    img_to_bw(img).show() # 二值化后的结果

可以看到原始的图片

在这里插入图片描述

还有经过二值化后的图片

在这里插入图片描述

使用pytesseract处理简单验证码

安装tesseract，下载链接：https://tesseract-ocr.github.io/tessdoc/Downloads，在Windows中只需要保存存在tesseract.exe就行，无论你是哪个版本

遇到问题可以参考大概是这个：
Python tesseract is not installed or it’s not in your path 错误解决方案

安装对应的包

pip install pytesseract

修改一下上面的代码，让其识别二值化后的验证码

#!/usr/bin/env python
# encoding: utf-8

from io import BytesIO
from lxml.html import fromstring
from PIL import Image
import base64
import requests
import pytesseract
import string

def get_b64_string(html):
    tree = fromstring(html)
    img_data = tree.cssselect('div#recaptcha img')[0].get('src')
    img_data = img_data.partition(',')[-1]
    return img_data

def get_captcha_img(html):
    tree = fromstring(html)
    img_data = tree.cssselect('div#recaptcha img')[0].get('src')
    img_data = img_data.partition(',')[-1]
    binary_img_data = base64.b64decode(img_data)
    img = Image.open(BytesIO(binary_img_data))
    return img

def img_to_bw(img):
    gray = img.convert('L')
    bw = gray.point(lambda x: 0 if x < 1 else 255, '1')
    return bw

def ocr(img):
    bw = img_to_bw(img)
    captcha = pytesseract.image_to_string(bw)
    cleaned = ''.join(c for c in captcha.lower() if c in string.ascii_lowercase)
    if len(cleaned) != len(captcha):
        print('removed bad characters: {}'.format(set(captcha) - set(cleaned)))
    return cleaned

if __name__ == "__main__":
    url = "http://example.python-scraping.com/user/register"
    headers = {
        'User-Agent': "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10", }
    html = requests.get(url, headers=headers)
    b64_string = get_b64_string(html.text)
    print(b64_string) # 原始的base64数据
    img = get_captcha_img(html.text)
    print(img)
    img.show() # 显示出来
    img_to_bw(img).show() # 二值化后的结果
    print(ocr(img)) # 输出识别后的结果

识别的效果如下

在这里插入图片描述

scrapy

常用的命令如下

  • startproject：创建一个新项目
  • genspider：根据模板生成一个新爬虫
  • crawl：执行爬虫
  • shell：启动交互式抓取控制台

第一个项目

我们来使用scrapy生成一个爬虫爬取example.python-scraping.com中的国家

新建一个项目

scrapy startproject example

创建爬虫

下面用模板生成一个爬虫

scrapy genspider country_or_district example.python-scraping.com --template=crawl

在目录中出现一个文件country_or_district.py，里面就是我们的代码

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule


class CountryOrDistrictSpider(CrawlSpider):
    name = 'country_or_district' # 识别爬虫的字符串
    allowed_domains = ['example.python-scraping.com'] # 可以爬取的域名列表，如果不设置可以爬取任何域名
    start_urls = ['http://example.python-scraping.com/']

    rules = (
        Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        i = {}
        #i['domain_id'] = response.xpath('//input[@id="sid"]/@value').extract()
        #i['name'] = response.xpath('//div[@id="name"]').extract()
        #i['description'] = response.xpath('//div[@id="description"]').extract()
        return i

把这个文件放到example中的spider文件夹中

在这里插入图片描述

优化设置

如果想了解更多细节，可以参考：https://blog.csdn.net/qq_42184699/article/details/92575404

默认scrapy则是同一域名允许最多16个并发下载，并且两次下载直接没有延迟，下面需要做设置，修改setting.py，打开注释并修改，或者直接填入

CONCURRENT_REQUESTS_PER_DOMAIN = 1
DOWNLOAD_DELAY = 3

在这里插入图片描述

修改其他配置

items.py下，定义我们需要得到的字段

class CountryOrDistrictItem(scrapy.Item):
    name = scrapy.Field()
    population = scrapy.Field()

再来修改一个爬虫类country_or_district.py，拿到我们的item

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from ..items import CountryOrDistrictItem

class CountryOrDistrictSpider(CrawlSpider):
    name = 'country_or_district'
    allowed_domains = ['example.python-scraping.com']
    start_urls = ['http://example.python-scraping.com/']

    rules = (
        Rule(LinkExtractor(allow=r'/index/', deny=r'/user/'),
             follow=True),
        Rule(LinkExtractor(allow=r'/view/', deny=r'/user/'),
             callback='parse_item'),
    )

    def parse_item(self, response):
        item = CountryOrDistrictItem()
        name_css = 'tr#places_country_or_district__row td.w2p_fw::text'
        item['name'] = response.css(name_css).extract()
        pop_xpath = '//tr[@id="places_population__row"]/td[@class="w2p_fw"]/text()'
        item['population'] = response.xpath(pop_xpath).extract()
        return item

测试爬虫

按上述修改完成后，启动爬虫

scrapy crawl country_or_district -s LOG_LEVEL=ERROR

输出如下

在这里插入图片描述

不同类型的爬虫

scrapy中的爬虫有如下几个级别

  • spider：普通的抓取爬虫，通常只用于抓取一个类型的页面
  • crawlspider：爬取爬虫。通常用于遍历域名，能够自动发现页面中的其他链接
  • xmlfeedspider：遍历xml流并从每个节点中获取内容
  • csvfeedspider：同上，只是换成了csv
  • sitemapspider：先解析站点地图，使用不同的规则爬取网站

使用shell命令抓取

scrapy给我们提供了shell命令，方便调试xpath，命令行输入

scrapy shell http://example.python-scraping.com/places/default/view/Antigua-and-Barbuda-10

可以看到调试页面

在这里插入图片描述

尝试以下调试，均能正常使用

response.url
name_css='#places_country_or_district__row > td.w2p_fw::text'
response.css(name_css).extract()

在这里插入图片描述

检查结果

想要检查结果，可以输出到文件中

scrapy crawl country_or_district --output=./data/output.json -s LOG_LEVEL=INFO

输出后的output.json文件内容如下

这里是引用

中断与恢复

在抓取网站时，暂停功能很重要，比如要重启计算机，都有可能导致中断爬虫

中断需要把中间文件保存下来，用JOBDIR指定

scrapy crawl country_or_district -s LOG_LEVEL=DEBUG -s JOBDIR=./data/country_or_district

点击ctrl+c后，可以看到中断信息

在这里插入图片描述

data文件夹的内容如下

在这里插入图片描述

运行同样的命令，可以恢复继续爬取

scrapy crawl country_or_district -s LOG_LEVEL=DEBUG -s JOBDIR=./data/country_or_district

参考网站

用Python写网络爬虫
03-30
《用Python写网络爬虫》讲解了如何使用Python来编写网络爬虫程序，内容包括网络爬虫简介，从页面中抓取数据的三种方法，提取缓存中的数据，使用多个线程和进程来进行并发抓取，如何抓取动态页面中的内容，与表单进行交互，处理页面中的验证码问题，以及使用Scarpy和Portia来进行数据抓取，使用本书介绍的数据抓取技术对几个真实的网站进行了抓取，旨在帮助读者活学活用书中介绍的技术。《用Python写网络爬虫》适合有一定Python编程经验，而且对爬虫技术感兴趣的读者阅读。附书中源码
Python爬虫教程——7个爬虫小案例（附源码）_爬虫实例
最新发布
2301_78217634的博客
07-15 1662
爬虫的全称为网络爬虫，简称爬虫，别名有网络机器人，网络蜘蛛等等。网络爬虫是一种自动获取网页内容的程序，为搜索引擎提供了重要的数据支撑。搜索引擎通过网络爬虫技术，将互联网中丰富的网页信息保存到本地，形成镜像备份。我们熟悉的谷歌、百度本质上也可理解为一种爬虫。如果形象地理解，爬虫就如同一只机器蜘蛛，它的基本操作就是模拟人的行为去各个网站抓取数据或返回数据。
30分钟掌握用Python写网络爬虫，入门到实战教程，黑客入门第一步
Yuki1127918的博客
02-10 1273
在如今的大数据时代，相信大家都对Python一词有所耳闻。而Python爬虫，简单来说，即通过Python程序获取对我们有用的数据。常用于商业分析，不过偶尔也可以辅助我们解决在日常生活中遇到的一些问题。 爬虫应用场景（利用爬虫能做什么？） 这里列举一些大家最熟悉的应用场景: 1.抢票神器（360抢票器） 2.投票神器（微信朋友圈投票） 3.各种热门公司招聘中的职位数及月薪分布 4.对某个App的下载量跟踪 5.票房预测 看了这么多，是不是对于爬虫产生了兴趣呢？学会爬虫将是你成为黑客的第一步！ 学
《用Python写网络爬虫》读书笔记
sundaygeek的专栏
07-10 536
《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南，讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外，本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据，以及有关爬取技术的更多真相，比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫，并对一些真实的网站进行...
使用python编写网络爬虫
qq_44092306的博客
01-28 7435
使用python编写网络爬虫前言1、为何使用爬虫2、编写爬虫的知识要求3、确定爬虫使用的工具库4、确定要获取的数据集4.1 分析Url地址变化4.2 获取目标数据集所在的HTML区域如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 前言 此篇文章是本人编写爬虫获取数据的心得体会，涉及到数据收集、数据预处理
python3网络爬虫笔记与实战源码
01-11
Python是一门强大且易学的编程语言，广泛应用于数据科学、机器学习、Web开发等多个领域。为了帮助大家更好地掌握Python，我们精心整理了一系列Python学习资料，旨在为不同需求的Python学习者提供全方位的学习支持。 ...
python网络爬虫学习笔记（1）
09-20
3. **Lxml**：基于C语言的高性能库，提供了类似DOM和XPath的解析方式，同时支持CSS选择器，是Python爬虫中的高效选择。安装Lxml可以使用命令`pip install lxml`，如果要使用CSS选择器，还需安装`cssselect`模块，...
python3网络爬虫笔记与实战源码.zip
03-23
记录python爬虫学习全程笔记、参考资料和常见错误，约40个爬取实例与思路解析，涵盖urllib、requests、bs4、jsonpath、re、 pytesseract、PIL等常用库的使用。 爬虫（Web Crawler）是一种自动化程序，用于从互联网...
网络爬虫 教程源码笔记python
06-29
网络爬虫 教程源码笔记python网络爬虫 教程源码笔记python网络爬虫 教程源码笔记python网络爬虫 教程源码笔记python网络爬虫 教程源码笔记python网络爬虫 教程源码笔记python网络爬虫 教程源码笔记python网络爬虫 ...
python 爬虫学习笔记
03-09
本文将详细介绍 Python 爬虫学习笔记的知识点，涵盖爬虫基础、网络和前端基础、Requests 模块、请求头、GET 和 POST 请求、代理、Cookie 模拟登录、Quote 和 Unquote、登录和获取 Cookie、Post 和 Session、重试机制...
用Python写网络爬虫（PDF版）
04-16
本书讲解了如何使用Python来编写网络爬虫程序， 内容包括网络爬虫简 介， 从页面中抓取数据的三种方法， 提取缓存中的数据， 使用多个线程和进 程来进行并发抓取， 如何抓取动态页面中的内容， 与表单进行交互， 处理页 面中的验证码问题， 以及使用Sca rpy 和Portia 来进行数据抓取， 并在最后使 用本书介绍的数据抓取技术对几个真实的网站进行了抓取， 旨在帮助读者活 学活用书中介绍的技术。本书适合有一定Python 编程经验， 而且对爬虫技术感兴趣的读者阅读。
用python写网络爬虫 PDF版
04-08
《用Python写网络爬虫》介绍了如下内容： 通过跟踪链接来爬取网站； 使用lxml从页面中抽取数据； 构建线程爬虫来并行爬取页面； 将下载的内容进行缓存，以降低带宽消耗； 解析依赖于JavaScript的网站； 与表单和会话进行交互； 解决受保护页面的验证码问题； 对AJAX调用进行逆向工程； 使用Scrapy创建高级爬虫。
用python写网络爬虫
我是人间惆怅客
02-23 1180
Python是一门十分强大的语言，要真正了解它的魅力必须通过一些实际运用·。这次通过写一个网络爬虫，我们来体验一下Python在应用中的优势。 关于爬虫 关于URI和URL urllib和urllib2 POST和GET 设置headers 设置代理和Timeout 使用PUTDELETE 使用DEBUG LOG 使用Cookie opener Cookielib 获取Cookie保存到变量 保存C
《实战Python网络爬虫》- 感想
dengyong6584的博客
06-13 816
端午节假期过了，之前一直在做出行准备，后面旅游完又休息了一下，最近才恢复状态。 端午假期最后一天收到一个快递，回去打开，发现是微信抽奖中的一本书，黄永祥的《实战Python网络爬虫》。 去各大网站搜了一下这个人，没有名气，去网购平台看了他别的书的书评，整体来说，书都是拼凑的。。。 但是既然书到手了，不妨翻开看看，刚好最近没有什么头绪，又偏头痛。花了几个半天整体翻了一下这本书，感觉是有点浅...
Python写网络爬虫(一)
苍夜月明的博客
03-17 7314
首先，在学习网络爬虫之前，需要先了解它是什么！ 网络爬虫简介 网络爬虫：web crawler（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 上面这些都是百度百科晦涩难懂的官话，用我们自己的话来说， 爬虫就是：通过我们自己编写的程序，模拟浏览器上网，然后让其去互联网抓取我们想要的数据的过程。 爬虫在使用场景中的分类..................
Python网络爬虫进阶教程：实战笔记与技巧
网络爬虫与数据采集笔记更新2是由雨霓同学在2020年11月19日整理的学习记录，由泠鸢组织，针对Python网络爬虫的系统教程。本笔记覆盖了从基础入门到高级进阶的多个关键知识点，旨在帮助读者掌握爬虫技术。 1. **初始...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值