爬虫mooc第四周笔记

最新推荐文章于 2024-09-09 18:34:56 发布
最新推荐文章于 2024-09-09 18:34:56 发布
阅读量141 收藏
点赞数
分类专栏： 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z11111z11/article/details/108213293
版权

Scrapy爬虫框架

Scrapy爬虫

Scrapy爬虫框架结构

爬虫框架是实现爬虫功能的一个软件结构和功能组件的集合

5+2结构

三个路径之一

1 Engine从Spider处获得爬取请求(Request)
2 Engine将爬取请求转发给Scheduler，用于调度

三个路径之二

3 Engine从Scheduler处获得下一个要爬取的请求
4 Engine将爬取请求通过中间件发送给Downloader
5 爬取网页后，Downloader形成响应（Response）
通过中间件发给Engine
6 Engine将收到的响应通过中间件发送给Spider处理

三个路径之三

7 Spider处理响应后产生爬取项（scraped Item）
和新的爬取请求（Requests）给Engine
8 Engine将爬取项发送给Item Pipeline（框架出口）
9 Engine将爬取请求发送给Scheduler

数据流的出入口

Engine控制各模块数据流，不间断从Scheduler处
获得爬取请求，直至请求为空
框架入口：Spider的初始爬取请求
框架出口：Item Pipeline
在这里插入图片描述

Scrapy爬虫框架解析

Engine（无需用户修改）

(1) 控制所有模块之间的数据流
(2) 根据条件触发事件

Downloader（无需用户修改）

根据请求下载网页

Scheduler（无需用户修改）

对所有爬取请求进行调度管理

Downloader Middleware（用户可以编写配置代码）

目的：实施Engine、Scheduler和Downloader
之间进行用户可配置的控制
功能：修改、丢弃、新增请求或响应
用户可以编写配置代

Spider （需要用户编写配置代码）

(1) 解析Downloader返回的响应（Response）
(2) 产生爬取项（scraped item）
(3) 产生额外的爬取请求（Request）

Item Pipelines （需要用户编写配置代码）

(1) 以流水线方式处理Spider产生的爬取项
(2) 由一组操作顺序组成，类似流水线，每个操
作是一个Item Pipeline类型
(3) 可能操作包括：清理、检验和查重爬取项中
的HTML数据、将数据存储到数据库

Spider Middleware（用户可以编写配置代码）

目的：对请求和爬取项的再处理
功能：修改、丢弃、新增请求或爬取项

Scrapy命令行

Scrapy常用命令

命令说明格式
startproject创建一个新工程scrapy startproject <name> [dir]
genspider创建一个爬虫scrapy genspider [options]<name><domain>
settings获得爬虫配置信息scrapy settings [options]
crawl运行一个爬虫scrapy crawl <spider>
list列出工程中所有爬虫scrapy list
shell启动URL调试命令行scrapy shell [url]

Scrapy爬虫实例一

演示HTML页面地址： http://python123.io/ws/demo.html
应用Scrapy爬虫框架主要是编写配置型代码

步骤1：建立一个Scrapy爬虫工程

选取一个目录（D:\pycodes\），然后执行如下命令：
d:\pycodes>scrapy startproject python123demo
生成目录
python123demo/ ————————外层目录
  scrapy.cfg ————————部署Scrapy爬虫的配置文件
  python123demo/ ——————Scrapy框架的用户自定义Python代码
    __init__.py ——————初始化脚本
    items.py ————————Items代码模板（继承类）
    middlewares.py —————Middlewares代码模板（继承类）
    pipelines.py ——————Pipelines代码模板（继承类）
    settings.py ——————Scrapy爬虫的配置文件
    spiders/ ————————Spiders代码模板目录（继承类）
    __pycache__ ——————缓存目录，无需修改

spider目录

spiders/ ————————————Spiders代码模板目录（继承类）
  init.py——————初始文件，无需修改
  pycache/——————缓存目录，无需修改
内层目录结构         用户自定义的spider代码增加在此处

步骤2：在工程中产生一个Scrapy爬虫

进入工程目录（D:\pycodes\python123demo），然后执行如下命令：
d:\pycodes\python123demo>scrapy genspider demo python123.io
该命令作用：
(1) 生成一个名称为demo的spider
(2) 在spiders目录下增加代码文件demo.py
该命令仅用于生成demo.py，该文件也可以手工生成

demo.py文件
import scrapy


class DemoSpider(scrapy.Spider):
    name = 'demo'
    allowed_domains = ['python123.io']
    start_urls = ['http://python123.io/']

    def parse(self, response):
        pass

步骤3：配置产生的spider爬虫

配置：（1）初始URL地址（2）获取页面后的解析方式

步骤4：运行爬虫，获取网页

在命令行下，执行如下命令：
d:\pycodes\python123demo>scrapy crawl demo
demo爬虫被执行，捕获页面存储在demo.html

yield 关键字的使用

包含yield语句的函数是一个生成器
生成器每次产生一个值 （yield语句） ，函数被冻结，被唤醒后再产生一个值
生成器是一个不断产生值的函数

生成器的优势

生成器相比一次列出所有内容的优势：
1)更节省存储空间
2)响应更迅速
3)使用更灵活

Scrapy爬虫的基本使用

使用步骤

**步骤1：**创建一个工程和Spider模板
步骤2： 编写Spider
步骤3： 编写Item Pipeline
步骤4： 优化配置策略

数据类型

Request类
Response类
Item类

Request类

class scrapy.http.Request()
Request对象表示一个HTTP请求
由Spider生成，由Downloader执行

属性或方法说明
.urlRequest对应的请求URL地址
.method对应的请求方法，‘GET’ 'POST’等
.headers字典类型风格的请求头
.body请求内容主体，字符串类型
.meta用户添加的扩展信息，在Scrapy内部模块间传递信息使用
.copy()复制该请求
Response类

class scrapy.http.Response()
Response对象表示一个HTTP响应
由Downloader生成，由Spider处理

属性或方法说明
.urlResponse对应的URL地址
.statusHTTP状态码，默认是200
.headersResponse对应的头部信息
.bodyResponse对应的内容信息，字符串类型
.flags一组标记
.request产生Response类型对应的Request对象
.copy()复制该响应
Item类

class scrapy.item.Item()
Item对象表示一个从HTML页面中提取的信息内容
由Spider生成，由Item Pipeline处理
Item类似字典类型，可以按照字典类型操作

Scrapy 爬虫提取信息的方法

Scrapy爬虫支持多种HTML信息提取方法：
• Beautiful Soup
• lxml
• re
• XPath Selector
• CSS Selector

CSS Selector的基本使用

<HTML>.css(‘a::attr(href)’).extract()

CSS Selector由W3C组织维护并规范

z11111z11
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
北京理工大学MOOC爬虫笔记二（第2周）
xixiaodou的博客
05-31 577
目录 一、BeautifulSoup库 二、信息标记与提取方法 三、实例（静态获取） 一、BeautifulSoup库 （1）BeautifulSoup库：解析、遍历、维护“标签树”的功能库 （2）使用BeautifulSoup库： from bs4 import BeautifulSoup soup=BeautifulSoup(’< p>data</ p>,‘html.parser’) （3）BeautifulS...
爬虫篇（1）-Scrapy - 基础（转）
tzyyy1的博客
03-09 1411
Scrapy Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。 一、scra...
Python爬虫（第四周）
07-02 2232
Python爬虫第四周
mooc爬虫课程第三周学习笔记之一
z11111z11的博客
08-21 136
正则表达式在爬虫中的使用Re库入门正则表达式定义使用语法经典正则表达式实例匹配IP地址的正则表达式Re库的基本使用主要函数re.search(pattern,string,flag)flag 常用标记re.match(pattern, string, flags=0)re.findall(pattern, string, flags=0)re.split(pattern, string, maxsplit=0, flags=0)re.finditer(pattern, string, flags=0)re.
mooc python网络爬虫与信息提取第一周_MOOC《Python网络爬虫与信息提取》学习过程笔记【requests库】第一周1-3...
weixin_39971172的博客
12-06 76
一得到百度网页的html源代码：>>> import requests>>> r=requests.get("http://www.baidu.com")>>> r.status_code #查看状态码，为200表示访问成功，其他表示访问失败200>>> r.encoding='utf-8' #更改编码为utf-8编码>...
mooc python网络爬虫与信息提取第一周_第3次作业-MOOC学习笔记：Python网络爬虫与信息提取...
weixin_35972313的博客
02-17 283
学习进度 Python网络爬虫与信息提取学习笔记第一周：Requests库入门：Requests库的安装：在命令提示符界面输入：pip install requestsRequests库有7个主要的方法，分别是：requests.request() : 构造一个请求，支撑以下各方法的基础方法；requests.get() : 获取HTML网页的主要方法，对应于HTTP的GET；reques...
中国大学mooc爬虫与信息处理第一周笔记
z11111z11的博客
08-18 889
中国大学mooc《Python网络爬虫与信息提取_北京理工大学》第一周笔记Requests库入门七个主要方法1. requests.get(url, params=None, **kwargs)Requests库的常见异常爬取网页通用代码框架HTTP协议HTTP协议对资源的操作2.Requests库的head()方法3.Requests的 post()方法4.Requests 的put()方法5.requests.request(methoud,url,**kwargs)方法method : 请求方式**k
mooc爬虫课程第三周学习笔记之二（实例分析）
z11111z11的博客
08-22 495
实例分析淘宝爬虫实例分析功能描述目标：获取淘宝搜索页面的信息，提取其中的商品名称和价格解决的问题：使用requests与re库main函数getHTMLText函数parsePage函数printGoodsList函数 淘宝爬虫实例分析 功能描述 目标：获取淘宝搜索页面的信息，提取其中的商品名称和价格 解决的问题： 淘宝的搜索接口 翻页的处理 使用requests与re库 在淘宝中搜索书包后 起始页 https://s.taobao.com/search?q=书包&js=1&stats_cl
北京理工大学python慕课第三周考试_python第三次作业-mooc笔记
weixin_42538752的博客
02-05 375
1.注册中国大学MOOC2.选择北京理工大学嵩天老师的《Python网络爬虫与信息提取》MOOC课程3.学习完成第0周至第4周的课程内容，并完成各周作业4.提供图片或网站显示的学习进度，证明学习的过程5.写一篇不少于1000字的学习笔记，谈一下学习的体会和收获。第一周笔记：Python网络爬虫与信息提取：内容分为：Requests：自动爬取HTML页面自动网络请求提交Robots.txt：网络爬虫...
北京理工大学MOOC爬虫笔记一（第0+1周）
xixiaodou的博客
05-29 455
一共四周 一、开发工具及特点 二、requests库 demo1: import requests r=requests.get('http://www.baidu.com') print(r.status_code) print(r.text) print(r.encoding) print("r.apparent_encoding:{}".format(r.apparent_encoding)) r.encoding='utf-8' #不会出现乱码 print(r.text
Python爬虫笔记一（来自MOOC） Requests库入门
清濑灰二
01-30 1003
Python爬虫笔记一（来自MOOC） 提示：本文是我在中国大学MOOC里面自学以及敲的一部分代码，纯一个记录文，如果刚好有人也是看的这个课，方便搬运在自己电脑上运行。 课程为：北京理工大学-嵩天-Python爬虫与信息提取 提示：多多自我发挥更有助于学习语言逻辑哦！ 文章目录Python爬虫笔记一（来自MOOC）前言一、嵩天老师课件给出的代码部分1.京东商品页面的爬取2.亚马逊商品页面的爬取3.百度/360关键字提交4.网络图片的爬取与储存5.ip归属地的自动查询二、个人运行过程中的一些问题和尝
网络爬虫：中国大学排名定向爬虫
热门推荐
Jingmin Wei's Blog
03-11 2万+
介绍了中国大学排名定向爬虫的实现，更新了2021软科排名网站的数据爬取。
【学习笔记】大数据技术原理与应用（MOOC视频、厦门大学林子雨）
weixin_30437847的博客
08-13 3945
1 大数据概述大数据特性：4v volume velocity variety value 即大量化、快速化、多样化、价值密度低 数据量大：大数据摩尔定律 快速化：从数据的生成到消耗，时间窗口小，可用于生成决策的时间非常少；1秒定律，这和传统的数据挖掘技术有着本质区别（谷歌的dremel可以在1秒内调动上千台服务器处理PB级数据） 价值密度低，商业价值高大数据影响： 对科学研究影响：出现科...
【python】—— Python爬虫实战：爬取珠海市2011-2023年天气数据并保存为CSV文件
weixin_63106307的博客
09-05 1117
本文将介绍如何使用Python编写一个简单的爬虫程序，以爬取珠海市2011年至2023年的天气数据，并将这些数据保存为CSV文件。
【FFMPEG】Install FFmpeg CUDA gltransition in Ubuntu
RockWang的博客
09-05 484
FFMPEG gltranlations CUDA
pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定
weixin_53707653的博客
09-09 774
是一个强大且易用的工具，可以帮助开发者轻松管理 Python 项目的依赖关系，确保代码的可重复性和稳定性。是一组命令行工具，旨在简化 Python 依赖关系的管理，确保项目环境的稳定性和可重复性。可以确保每次构建环境时都使用相同的依赖项版本，从而避免由于依赖项版本不一致导致的错误，提高代码可重复性和稳定性。自动化了依赖关系管理过程，节省了开发者的时间和精力，可以将更多时间投入到实际的开发工作中。文件中的信息，更新虚拟环境，安装、升级或卸载所需的软件包，确保虚拟环境与。命令可以从你的项目配置文件中生成。
Python实现多线程、多进程及协程
最新发布
qq_42568323的博客
09-09 1009
本文详细介绍了 Python 中多线程、多进程和协程的并发模型及其实现方式，并通过具体场景演示了如何使用面向对象思想实现这些模型。在实际应用中，应根据任务的类型和需求选择合适的并发模型，从而优化程序的性能和资源利用率。本文将详细介绍 Python 中的多线程、多进程和协程的概念及其实现方式，并通过具体场景展示如何在 Python 中使用面向对象的思想实现这些并发模型。接下来，我们通过一个计算密集型任务的示例来演示多进程的实现：计算一系列大数字的阶乘。主程序中创建并启动了多个计算进程，并使用。
[Python]生成器和yield关键字
weixin_57336987的博客
09-07 391
概述:​ 它指的是 generator, 类似于以前学过的: 列表推导式, 集合推导式, 字典推导式…作用:​ 降低资源消耗, 快速(批量)生成数据.实现方式:​ 1.推导式写法.​ 2.yield写法.yield i # yield会记录每个生成的数据, 然后逐个的放到生成器对象中, 最终返回生成器对象.问题: 如何从生成器对象中获取数据?​ 答案:​ 1.for循环遍历​ 2.next()函数, 逐个获取.
大连理工大学moocc语言第四周编程作业
10-03
大连理工大学的moocc语言第四周编程作业主要涉及以下内容。在这个作业中，学生需要运用所学的编程知识，完成一系列任务。 首先，学生需要设计一个程序，实现从一堆数字中找出最大和最小值的功能。这要求学生熟悉...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值