python的爬虫笔记（4）scrapy框架学习

于 2020-07-22 08:21:41 发布
阅读量104 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43525209/article/details/107455976
版权
本文介绍了Scrapy框架的基本组成部分，包括Engine、Scheduler、Downloader和Spiders。重点讲解了Spiders如何处理Response来获取信息，以及如何使用Item Pipeline进行数据存储或处理。通过实例展示了创建Scrapy项目、生成Spider、调用爬虫以及在Shell中进行网页元素定位的步骤。
摘要由CSDN通过智能技术生成

Scrapy Engine：多进程代码，提供并发的支持。已经实现好的，不需要修改。
Scheduler（调度器）：存储以及调度（URL+函数）=Request。已经实现好的，不需要修改。
Downloader（下载器）：跟request.get的部分封装到这里面。通过Request下载返回值（HTML，JSON），RESPONSE。已经实现好的，不需要修改。
Spiders（蜘蛛）：获取到了Response之后，需要定位具体信息。需要自己写的。
item pipeline（项目管道）:存储或者是急需处理具体信息。需要自己写的。

新建一个Scrapy的项目
scrapy startproject name
新建Spider
scrapy genspider jobbole jobbole.com
调用某个爬虫（这里 调用 jobbole）执行后会生成HTML文件
scrapy crawl jobbole

填想要获取的页面，进入shell 模式
scrapy shell http://python.jobbole.com/all-posts/
获得的是在这里插入图片描述
定位文章url
response.xpath(’//a[@class=“archive-title”]/@href’)在这里插入图片描述
获取到selector，如果想把data取出来
response.xpath(’//a[@class=“archive-title”]/@href’).extract()
定位文章标题
response.xpath(’/html/head/title/text()’)
在这里插入图片描述
获取data
response.xpath(’/html/head/title/text()’).extract()[0]
或者（建议用这个）
response.xpath(’/html/head/title/text()’).extract_first(‘没有标题’)

mittyQAQ
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬虫学习笔记-scrapy框架(1)
01-29
python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python ...
爬虫系列：Scrapy的三种解析方式你都清楚吗？
weixin_54667422的博客
06-05 1560
目录🍉Scrapy的三种数据解析方式🌵xpath选择器🌵CSS选择器🌵正则匹配 🍉dome🌴spider.py🌴itmes.py🌴pipeline.py 🍉结束 Scrapy 提供了自己的数据提取方法，即 Selector（选择器）。Selector 是基于 lxml 来构建的，支持 XPath 选择器、CSS 选择器以及正则表达式，功能全面，解析速度和准确度非常高。 测试用例 构建一个对象 提取a节点 提取 a 节点内包含的 img 节点 ...
（Python）Scrapy爬虫框架，Response对象解析器——xpath的用法
qq_43517117的博客
01-16 2487
html内容的xpath选择器 xpath('//a') # 所有a标签(子孙后代) xpath('//a[2]') # 所有a标签，按索引找第二个 xpath('//a[@id]') # 所有a标签，并且含有id属性 xpath('//a[@id="i1"]') # 所有a标签，并且属性id='i1' xpath('//a[@href="link.htm...
【爬虫提取数据三板斧之三】XPath资料整理
zhoulizhu的博客
01-19 600
选取节点 XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。 下面列出了最有用的路径表达式： 表达式 描述 nodename 选取此节点的所有子节点。 / 从根节点选取。 // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 . 选取当前节点。 .. 选取
Scrapy爬虫框架，入门案例（非常详细）
热门推荐
ck784101777的博客
03-21 19万+
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. Scrapy吸引人的地...
python爬虫学习笔记-scrapy框架(2)
最新发布
01-29
scrapypython爬虫学习 scrapy框架 爬虫学习python爬虫学习 scrapy框架 爬虫学习python爬虫学习 scrapy框架 爬虫学习python爬虫学习 scrapy框架 爬虫学习 scrapypython爬虫学习 scrapy框架 爬虫学习python爬虫学习 ...
python爬虫基础包含scrapy框架笔记
09-06
本笔记主要涵盖了使用 Scrapy 和 Python 的 urllib 库进行网络爬虫的基础知识。 首先，URL（统一资源定位符）是网页的地址，它是网络爬虫的第一步。在Python中，我们可以使用urllib库来处理URL。urllib的基本使用...
Python笔记——scrapy爬虫框架
01-06
— — python使用的最广泛的爬虫框架。 2. 创建项目：终端cmd下创建 输入命令：scrapy startproject [项目名qsbk] 生成目录结构： 1、scrapy.cfg:项目配置文件 2、items.py :定义需要爬去的字段 3、middlewares.py：...
Python的Scrapy爬虫框架简单学习笔记
12-25
（1）创建scrapy项目 scrapy startproject getblog （2）编辑 items.py # -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # ...
python中的pygame小练习（3）碰撞精灵和碰撞检测
weixin_43525209的博客
07-04 1621
五个小球随机出现，随机速度，在窗口中乱逛。 import pygame import sys from pygame.locals import * from random import * class Ball(pygame.sprite.Sprite): #这是pygame的碰撞基类，继承就行了 def __init__(self, image, position,speed, bg_size): #球的图片，球的位置，球的速度 pygame.sprite.Sprite
python练习，飞机大战（1）小甲鱼
weixin_43525209的博客
07-04 915
游戏基本设定 敌方共有大中小三款飞机 ，分为 高中低三种速度； 子弹的射程并非 全屏，而大概是屏幕长度的80%； 消灭小飞机需要 1发 子弹，中飞机 需要8发，大飞机需要20发； 每消灭一家小飞机得1000分 ，中飞机6000分，大飞机10000分； 每个30秒有一个随机的道具补给，分为两种道具，全屏炸弹 和双倍子弹； 全屏炸弹最多只能存放 3枚，双倍子弹可以维持18秒钟的效果； 游戏将根据分数逐步提高难度，难度的提高表示飞机数量的增多 以及速度的加快。 中飞机和大飞机增加血槽的显示； ...
python学习笔记（七）Anaconda3安装时遇到问题
weixin_43525209的博客
06-29 911
安装第三方模块 Anaconda3 Warning: This Python interpreter is in a conda environment, but the environment has not been activated. Libraries may fail to load. To activate this environment please see https://conda.io/activation 一直出现这个问题，我也是醉了 先进（base）模式 具体命令我给关了，现
python的anaconda的matplotlib-条形图
weixin_43525209的博客
07-13 672
import matplotlib.pyplot as plt import numpy as npimport matplotlib.pyplot as plt import numpy as np #准备数据 GDP = [10, 20, 30, 40, 50] plt.rcParams['font.sans-serif'] = ['Microsoft YaHei'] plt.rcParams['axes.unicode_minus'] = False #绘图 plt.bar(range(5)
python的pygame小练习
weixin_43525209的博客
07-03 655
例：一个老虎对象自己动，按上下左右键的话会随按键动。 import pygame import sys #把pygame所有的常量名导入 from pygame.locals import * #初始化Pygame pygame.init() size = width, height = 1000, 600 speed = [-2, 1] bg = (255, 255, 255) #rgb颜色 clock = pygame.time.Clock() #创建指定窗口大小,返回surface s
python学习笔记（十三）调试，单元测试，文档测试（这个有问题 ，没调成功）
weixin_43525209的博客
07-02 508
调试 程序一次写完不出错的概率很小，有的bug看错误信息就知道，有的变量值是错误的，因此 需要一整套调试程序的手段来修复bug。 第一种方法简单直接粗暴有效，就是print（）把可能有问题的变量打印出来： def foo(s): n = int(s) print('>>>n = %d' % n) return 10 / n def main(): foo('0') main() 用point的最大坏处是还得删掉他，如果程序里都是print（），运行结果也
python中的pygame小练习（2）基本图形绘制
weixin_43525209的博客
07-04 501
基本图形绘制 绘制矩形 pygame.draw.rect(screen,BLACK,(50, 50, 150, 50), 0) #Surface ：矩形绘制在哪个Surface对象上 # color：边框颜色 # Rect：指定矩形范围,就是四个左边点的位置 # width: 指定边框大小，0表示填充这个矩形，1表示边框一个像素 绘制多边形 polygon(Surface, color, pointlist, width=0) #Surface ：矩形绘制在哪个Surface对象上 # color：边框颜色
python学习笔记（十五）json数据转化
weixin_43525209的博客
07-06 347
操作文件和目录 操作文件和目录的函数一部分防砸OS模块中，一部分在os.path模块中。查看、创建和删除目录可以这么调用： 查看当前目录的绝对路径： import os s = os.path.abspath('.') print(s) #结果：G:\zrx\demoproject 在某个目录下创建一个新目录，首先把新目录 的完整路径表示出来： s = os.path.join('G:\zrx\demoproject', 'testdir') print(s) #结果：G:\zrx\demoproje
python爬虫笔记（3）第一个爬虫和xpath
weixin_43525209的博客
07-16 294
1.接口解析 2.第三方破解 通用爬虫 -》 今日头条 谷歌 百度 url（网址） -》DNS解析 -》下载网页 聚焦爬虫 精准的抓取网页 监控爬虫 定时爬虫 url组成：http （http + ssl(安全套接层 ）） http（超文本传输协议） 域名 #已被淘汰 import urllib #现在常用 import requests #获取百度的对象 response = requests.get(‘https://www.baidu.com/’) #返回成功 也就是200 print(respon
python学习笔记（十九）内建模块datetime
weixin_43525209的博客
07-09 259
datetime datetime是Python处理日期和时间的标准库。 获取当前日期和时间 我们先看如何获取当前日期和时间： from datetime import datetime now = datetime.now() #获取当前datetime print(now) print(type(now)) 结果 ： 2020-07-08 13:35:00.903533 <class 'datetime.datetime'> datetime是模块，模块里还有datetime类，通
Python爬虫入门：Scrapy框架详解与urllib库深度解析
本篇笔记详细介绍了Python爬虫的基础知识，重点围绕scrapy框架展开。首先，讲解了urllib库的使用，它是Python中最基础的网络爬虫库之一。通过示例说明如何获取百度首页的源码，强调了URL的重要性，它是访问网络页面...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值