Scrapy项目实战

最新推荐文章于 2024-03-20 10:00:00 发布
最新推荐文章于 2024-03-20 10:00:00 发布
阅读量516 收藏 6
点赞数 2
分类专栏： spider实例 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mjp_erhuo/article/details/106422150
版权

Scrapy项目实战

Scrapy是一个为了爬取网站数据、提取结构化数据而编写的爬虫应用框架。Scrapy内部实现了包括并发请求、免登录、URL去重等很多复杂操作，用户不需要明白Scrapy内部具体的爬取策略，只需要根据自己的需要，编写小部分的代码，就能抓取到所需要的数据

此节我们学习下如何采用采用scrapy进行项目流程开发和配置

一 项目准备工作

1. 创建爬虫项目

使用startproject命令创建项目

scrapy startproject  scrapy_proj   #使用scrapy产生一个scrapy_name爬虫项目

2 生成爬虫项目

使用genspider命令在项目中创建爬虫脚本

cd   scrapy_proj/scrapy_proj
scrapy genspider  --list
scrapy genspider myspider  "www.myspider_domain.com"

此时会在scrapy_proj/spiders/产生一个新的文件myspider.py

这个是我们的爬取页面的主入口和页面下载完成后解析主入口。

Scrapy项目文件结构

  • items.py 负责数据模型的建立，类似于实体类。
  • middlewares.py 自己定义的中间件。
  • pipelines.py 负责对spider返回数据的处理。 （管道文件）
  • settings.py 负责对整个爬虫的配置。 （项目配置）
  • spiders目录 负责存放继承自scrapy的爬虫类。（写代码的位置）
  • scrapy.cfg scrapy基础配置

3 项目配置

设置settings.py 文件，设置相关的配置信息，具体配置见下面参数的说明

配置文件参数说明

（1）ROBOTSTXT_OBEY = True ————— 是否遵守robots.txt规则

说明：

​ robots.txt 是遵循 Robot协议 的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页 不希望 你进行爬取收录。在Scrapy启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。（在某些情况下我们想要获取的内容恰恰是被 robots.txt 所禁止访问的。所以，某些时候，我们就要将此配置项设置为 False ，拒绝遵守 Robot协议 ！）

（2）CONCURRENT_REQUESTS = 16-----------开启线程数量，默认16，可以自行设置

​ 这个参数涉及到scrapy爬取的并发量，items的处理速度

（3）DOWNLOAD_DELAY = 3 ——— 下载延迟时间。下载器在下载同一个网站下一个页面前需要等待的时间。该选项可以用来限制爬取速度， 减轻服务器压力。(反爬策略之一)

（4）CONCURRENT_REQUESTS_PER_DOMAIN = 16 将对任何单个域执行的并发（即同时）请求的最大数量。

​ CONCURRENT_REQUESTS_PER_IP = 16 将对任何单个IP执行的并发（即同时）请求的最大数量。如果非零，CONCURRENT_REQUESTS_PER_DOMAIN则忽略该 设置，而改为使用此设置。换句话说，并发限制将应用于每个IP，而不是每个域。

（5）COOKIES_ENABLED = False

​ 是否启用cookie。是否启用cookies middleware。如果关闭，cookies将不会发送给web server。

​ 除非您真的 需要，否则请禁止cookies。在进行通用爬取时cookies并不需要， (搜索引擎则忽略cookies)。禁止cookies能减少CPU使用率及Scrapy爬虫在内存中记录的踪迹，提高性能。

​ COOKIES_DEBUG：默认： False

​ 如果启用，Scrapy将记录所有在request(cookie 请求头)发送的cookies及response接收到的cookies（set-cookie接收头）

（6）AUTOTHROTTLE_START_DELAY = 5

​ 初始下载延迟时间(单位：秒)

（7）AUTOTHROTTLE_MAX_DELAY = 60

​ 高并发请求时最大延迟时间(单位：秒)

(8) USER_AGENT 用户代理

​ 这个是至关重要的，大部分服务器在请求快了会首先检查User_Agent,而scrapy默认的浏览器头是scrapy1.1 我们需要开启并且修改成浏览器头，如：Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1。 但是最好是这个USER-AGENT会随机自动更换最好了。

（8）DEFAULT_REQUEST_HEADERS

​ 默认请求头部信息，例如如下配置

DEFAULT_REQUEST_HEADERS = {
    'accept': 'image/webp,*/*;q=0.8',
    'accept-language': 'zh-CN,zh;q=0.8',
    'referer': 'https://www.taobao.com/',
    'user-agent': 'Mozilla/5.0 (Windows NT 6.3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36',
}

这个是浏览器请求头，很多网站都会检查客户端的headers，比如豆瓣就是每一个请求都检查headers的user_agent，否则只会返回403，可以开启user-agent

(9) SPIDER_MIDDLEWARES

​ Spider中间件是介入到Scrapy中的spider处理机制的钩子框架，可以插入自定义功能来处理发送给 Spiders 的response，以及spider产生的item和request。

要启用Spider中间件(Spider Middlewares)，可以将其加入到 SPIDER_MIDDLEWARES 设置中。 该设置是一个字典，键为中间件的路径，值为中间件的顺序(order)。

(10) DOWNLOADER_MIDDLEWARES

​ 要激活下载器中间件组件，将其加入到 DOWNLOADER_MIDDLEWARES 设置中。 该设置是一个字典(dict)，键为中间件类的路径，值为其中间件的顺序(order)。

（11）ITEM_PIPELINES

每个Item Pipeline组件其实就是一个实现了一个简单方法的Python类。他们接受一个item并在上面执行逻辑，还能决定这个item到底是否还要继续往下传输，如果不要了就直接丢弃。

（12）AUTOTHROTTLE — 自动限速 （反爬策略之一）

AUTOTHROTTLE_ENABLED = True  #初始下载延迟
# The initial download delay
AUTOTHROTTLE_START_DELAY = 5   #在高延迟的情况下设置的最大下载延迟
# The maximum download delay to be set in case of high latencies
AUTOTHROTTLE_MAX_DELAY = 60    #Scrapy请求的平均数量应该并行发送每个远程服务器
# The average number of requests Scrapy should be sending in parallel to
# each remote server
AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0    
# Enable showing throttling stats for every response received:
AUTOTHROTTLE_DEBUG = False

（13）是否启用在本地缓存，如果开启会优先读取本地缓存，从而加快爬取速度，视情况而定

HTTPCACHE_ENABLED = True

HTTPCACHE_EXPIRATION_SECS = 0

HTTPCACHE_DIR = 'httpcache'

HTTPCACHE_IGNORE_HTTP_CODES = []

HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

如何在scrapy中加入日志功能？

答案：在settings.py中加入如下信息

LOG_LEVEL= 'INFO'        #日志级别

LOG_FILE ='log.txt'      #日志打印的文件名称

DEBUG < INFO < WARNING < ERROR

日志案例：（settings.py中设置如下信息）

###############   log settings begin   ######################

LOG_LEVEL = "INFO"

from datetime import datetime
import os

today = datetime.now()

LOG_DIR = "logs"
if not os.path.exists(LOG_DIR):
   os.mkdir(LOG_DIR)

LOG_FILE = "{}/scrapy_{}_{}_{}.log".format(LOG_DIR, today.year, today.month, today.day)

###############   log settings end   ######################

二。案例分析

糗事百科的主页：www.qiushibaike.com

1 创建爬虫项目

使用startproject命令创建项目（糗事百科爬虫项目）

scrapy startproject  qiubai_proj   #使用scrapy产生一个scrapy_name爬虫项目

2 生成创建爬虫脚本

使用genspider命令在项目中创建爬虫脚本

cd   qiubai_proj/qiubai_proj
scrapy genspider qiubai  "www.qiushibaike.com"

此时会在qiubai_proj/spiders/产生一个新的文件qiubai.py

这个是我们的爬取页面的主入口和页面下载完成后解析主入口。

修改配置文件settings.py：

BOT_NAME = 'qiubai_proj'

SPIDER_MODULES = ['qiubai_proj.spiders']
NEWSPIDER_MODULE = 'qiubai_proj.spiders'


# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'qiubai_proj (+http://www.yourdomain.com)'
USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) " \
          "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
# Obey robots.txt rules
#ROBOTSTXT_OBEY = True
ROBOTSTXT_OBEY = False

LOG_LEVEL= 'DEBUG'

3. 数据模型

分析糗事百科网站，定义数据模型用于保存爬取的数据。

编辑文件qiubai_proj/qiubai_proj/items.py, 内容如下：

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class QiubaiProjItem(scrapy.Item):
    # define the fields for your item here like:
    #保存头像链接
    image_url = scrapy.Field()
    #保存名字
    name = scrapy.Field()
    #保存年龄
    age = scrapy.Field()
    #保存内容
    content = scrapy.Field()
    #好笑的个数
    haha_count = scrapy.Field()

4. spiders中编写爬取逻辑

关于xpath语法使用请参考day03中的xpath语法章节。

# -*- coding: utf-8 -*-
import scrapy


class QiubaiSpider(scrapy.Spider):
    name = 'qiubai'
    allowed_domains = ['www.qiushibaike.com']
    start_urls = ['http://www.qiushibaike.com/']  #主入口url

    #parse函数就是文件解析函数，response就是响应对象
    def parse(self, response):
        # with open("qiubai.html", 'w', encoding="utf-8") as f:
        #     f.write(response.text)
        div_list = response.xpath('//div[starts-with(@id, "qiushi_tag_")]')
        print(type(div_list))
        #遍历列表，获取列表内容
        item_list = []
        for div in div_list: 
            '''
            先通过xpath获取内容，返回的是一个列表
            然后通过extract()转换成unicode字符串，再获取第0个, 也就是指定的内容
            将解析到的内容保存到字典中
            '''
            image_url = div.xpath('./div[@class="author clearfix"]//img/@src').extract_first()
            name = div.xpath('./div[@class="author clearfix"]//h2/text()').extract_first()
            age = div.xpath('./div[@class="author clearfix"]/div/text()').extract_first()
            content = div.xpath('./a/div[@class="content"]/span/text()').extract()
            content = ' '.join(content)
            haha_count = div.xpath('./div[@class="stats"]/span[@class="stats-vote"]/i/text()').extract()[0]
            item = dict(
                image_url = image_url,
                name = name,
                age = age,
                content = content,
                haha_count = haha_count
            )
            yield item
            #item_list.append(item)
            
        #return item_list

5 运行spider

5.1 数据格式化输出：

（1）保存爬取的内容到json文件中

​ scrapy crawl qiubai -o qiubai.json

​ 可以查看产生的json文件，将内容拷贝到json在线格式网站

​ https://www.json.cn/， 看数据爬取是否和真实相符。

​ （2）保存爬取的数据到xml文件中

​ scrapy crawl qiubai -o qiubai.xml

​ （3）保存爬取的数据到数据报表csv文件中

​ scrapy crawl qiubai -o qiubai.csv

知识总结：

通过指令创建爬虫文件

   cd qiubai_proj/qiubai_proj

   scrapy genspider qiubai "www.qiushibaike.com"

   那么就会在firstSpider/firstSpider/spiders里面自动创建一个qiubai.py

      name: 爬虫的名字，启动的时候根据爬虫的名字启动项目

      allowed_domains：允许的域名，就是爬取的时候这个请求要不要发送，如果是该允许域名之下的url，就会发送，如果不是，则过滤掉这个请求，这是一个列表，可以写多个允许的域名

      start_urls：爬虫起始url，是一个列表，里面可以写多个，一般只写一个

      def parse(self, response): 这个函数非常重要，就是你以后写代码的地方，parse函数名是固定的，当收到下载数据的时候会自动的调用这个方法，该方法第二个参数为response，这是一个响应对象，从该对象中获取html字符串，然后解析之。

6. 数据持久化

糗事百科的主页：www.qiushibaike.com

本节我们将对上节数据进行数据保存（持久化）

本节分别将数据保存到json文件和mysql数据库中

6.1 保存数据到json文件

​ 使用 Scrapy 提供的 exporter 存储 Json 数据

​ Scrapy 为我们提供了一个 JsonItemExporter 类来进行 Json 数据的存储，非常方便

  1. 修改上节中的spiders

    使用yield改造，使得spider成为一个生成器，不断地往pipeline里面流入待处理的数据

# -*- coding: utf-8 -*-
import scrapy


class QiubaiSpider(scrapy.Spider):
	name = 'qiubai'
	allowed_domains = ['www.qiushibaike.com']
	start_urls = ['http://www.qiushibaike.com/']  # 主入口url

	# parse函数就是文件解析函数，response就是响应对象
	def parse(self, response):
		# with open("qiubai.html", 'w', encoding="utf-8") as f:
		#     f.write(response.text)
		div_list = response.xpath('//div[starts-with(@id, "qiushi_tag_")]')
		#print(type(div_list))
		# 遍历列表，获取列表内容
		item_list = []
		for div in div_list:
			'''
			先通过xpath获取内容，返回的是一个列表
			然后通过extract()转换成unicode字符串，再获取第0个, 也就是指定的内容
			将解析到的内容保存到字典中
			'''
			image_url = div.xpath('./div[@class="author clearfix"]//img/@src').extract_first()
			name = div.xpath('./div[@class="author clearfix"]//h2/text()').extract_first().strip("\n")
			age = div.xpath('./div[@class="author clearfix"]/div/text()').extract_first()
			contents = div.xpath('./a/div[@class="content"]/span/text()').extract()
			content = ' '.join([ct.strip() for ct in contents])
			haha_count = div.xpath('./div[@class="stats"]/span[@class="stats-vote"]/i/text()').extract()[0]
			item = dict(
				image_url=image_url,
				name=name,
				age=age,
				content=content,
				haha_count=haha_count
			)
			yield item
			#     item_list.append(item)
			# return item_list
  1. 首先要开启pipeline开关

在settings.py文件中开启ITEM_PIPELINES选项，开启如下信息

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'qiubai_proj.pipelines.QiubaiProjPipeline': 300,
}

  1. pipelines的逻辑处理

    通过pipelines将spiders转发过来的item数据进行导入到json报表中

    编辑qiubai_proj/pipelines.py文件，添加如下内容

    # -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
from scrapy.exporters import JsonItemExporter

class QiubaiProjPipeline(object):
    # 调用 scrapy 提供的 json exporter 导出 json 文件
    def __init__(self):
        self.file = open('questions_exporter.json', 'wb')
        # 初始化 exporter 实例，执行输出的文件和编码
        self.exporter = JsonItemExporter(self.file, encoding='utf-8', ensure_ascii=False)
        # 开启倒入数据
        self.exporter.start_exporting()
        
        
   def close_spider(self, spider):
       self.exporter.finish_exporting()
       self.file.close()
       
       
   def process_item(self, item, spider):
       '''
       使用 scrapy.exporters.JsonItemExporter 生成的文件
       '''
       print("########### pipelines begin ###############")
       #print(item)
       self.exporter.export_item(item)
       print("########### pipelines end ###############")
       return item

​

上述pipeline将统计的item结果数据保存到questions_exporter.json中

  1. 添加日志功能

    settings.py中添加日志功能 文件及路径，log目录需要先建好

    today = datetime.now()
    log_file_path = "log/scrapy_{}{}{}.log".format(today.year, today.month, today.day)

日志输出

LOG_LEVEL = 'DEBUG'
LOG_FILE = log_file_path

  1. 运行spider

​ scrapy crawl qiubai

​ 运行成功后，可以查看questions_exporter.json文件

6.2 保存数据到mysql数据库

依赖库：pymysql

Twisted 是一个异步网络框架，不幸的是大部分数据库api实现只有阻塞式接口，twisted.enterprise.adbapi为此产生，它是DB-API 2.0 API的非阻塞接口，可以访问各种关系数据库。

不同于直接创建数据库连接, 而是使用 adbapi.ConnectionPool 类来管理连接. 这就可以让 adbapi 来使用多个连接, 比如每个线程一个连接，这很简单:

使用前面例子的 "dbmodule" , 来创建一个 ConnectionPool 对象

from twisted.enterprise import adbapi连接mysql，要这样：

_conn = adbapi.ConnectionPool(' db='test', user='root', passwd='aaaa', host='localhost',use_unicode=True, charset='utf8'*)

  1. 数据库定义

    创建数据库

    create database  qiubai_db   default charset=utf8;  

CREATE TABLE qiubai ( 

  id int(11) PRIMARY  KEY  auto_increment COMMENT '设置主键自增',

  image_url varchar(150) NOT NULL COMMENT '图片url链接',

  name VARCHAR(50) COMMENT '名称',

  age VARCHAR(10) COMMENT '年龄',

  content VARCHAR(500) COMMENT '内容',

  haha_count INT COMMENT '笑点数'

  ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

将上述内容放入到table.sql文件，进入mysql终端中，执行 source ./table.sql;

​ 创建数据库和表成功！

  1. 修改配置文件

settings.py文件中添加如下mysql数据库配置信息：

MYSQL_SETTINGS = {

   'HOST':'192.168.51.63',    #数据库地址
   'DATABASE':'qiubai_proj',    #数据库名称
   'USER':'zhougy',           #登陆用户名
   'PASSWORD':'123456',       #登陆密码
   'CHARSET':'utf8',          #字符编码

}
  1. 添加数据库操作的pipeline

添加文件 mysql_pipelines.py, 内容添加如下：

scrapy框架底层网络库是twisted，同时他也

此文件采用twisted.enterprise.adbapi异步处理接口处理mysql操作

# -*- coding: utf-8 -*-  
__author__ = 'zhougy'
__date__ = '2018/9/2 下午7:26'
import json
import pymysql
from twisted.enterprise import adbapi
from .settings import MYSQL_SETTINGS
import logging

class MysqlTwistedPipline(object):
	def __init__(self, dbpool):
		self.dbpool = dbpool

	@classmethod
	def from_settings(cls, settings):
		dbparms = dict(
			host=MYSQL_SETTINGS['HOST'],
			db=MYSQL_SETTINGS['DATABASE'],
			user=MYSQL_SETTINGS['USER'],
			passwd=MYSQL_SETTINGS['PASSWORD'],
			charset=MYSQL_SETTINGS['CHARSET'],
			cursorclass=pymysql.cursors.DictCursor,  # 指定 curosr 类型
			use_unicode=True,
		)
		# 指定擦做数据库的模块名和数据库参数参数
		dbpool = adbapi.ConnectionPool("pymysql", **dbparms)
		return cls(dbpool)

	def process_item(self, item, spider):
		'''
		使用twisted将mysql插入变成异步处理
		:param item:
		:param spider:
		:return:
		'''
		query = self.dbpool.runInteraction(self.db_insert, item)
		# 指定异常处理方法
		query.addErrback(self.handle_error, item, spider)  # 处理异常
		return item
		
	def handle_error(self, failure, item, spider):
		# 处理异步插入的异常
		print("######################1")
		#print(item)
		#print(failure)
		logging.error(f"handler_error has error failure: {failure}")
		logging.warning()
		print("########################2")	
		
	def db_insert(self, cursor, item):
		# 执行具体的插入
		# 根据不同的item 构建不同的sql语句并插入到mysql中
		insert_sql, params = self.get_insert_sql(item)
		cursor.execute(insert_sql, params)
		logging.info(f"write db ok with data:{item['name']}")
		
	def get_insert_sql(self, item):
		insert_sql = """
		                 insert into qiubai(image_url, name, age, content, haha_count)
		                 VALUES (%s, %s, %s, %s, %s)
		             """
		params = (
			item["image_url"], item["name"], item["age"], item["content"],
			item["haha_count"])
		return insert_sql, params

​ 至此，基于mysql的pipeline异步处理管道逻辑就已经完成。

修改配置文件settings.py

将上述MysqlTwistedPipline管道处理类添加到配置文件中

ITEM_PIPELINES = {

'qiubai_proj.pipelines.QiubaiProjPipeline': 300,

   'qiubai_proj.mysql_pipelines.MysqlTwistedPipline': 300,
}

运行启动spider

scrapy crawl qiubai

运行成功后，可以查看数据库表数据。

穆洛玄
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Scrapy-实战
奔跑的豆子的专栏
04-07 1056
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。在之前的博文当中，简要介绍了Scrapy相关工具命令的介绍，以及Scrapy爬虫项目的基本结构。
Scrapy简介-快速开始-项目实战-注意事项-踩坑之路
weixin_62650212的博客
09-06 827
Scrapy是什么？Scrapy是一个健壮的爬虫框架，可以从网站中提取需要的数据。是一个快速、简单、并且可扩展的方法。Scrapy使用了异步网络框架来处理网络通讯，可以获得较快的下载速度，因此，我们不需要去自己实现异步框架。并且，Scrapy包含了各种中间件接口，可以灵活的完成各种需求。所以我们只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页上的各种内容。Scrapy并不是一个爬虫，它只是一个“解决方案”，也就是说，如果它访问到一个“一无所知”的网站，是什么也做不了的。
【Python】Scrapy爬虫网页分析入门实战
CoderSharry的博客
03-20 1722
1. Scrapy项目创建 2. Scrapy Spider 基本使用 3. 数据建模 4. 管道 5. 数据持久化
创建scrapy项目，运行，保存数据的详细过程
wan_yan_001的博客
09-13 6086
1.scrapy常用的几个语句 scrapy startproject 项目名 scrapy genspider 爬虫名 域名 scrapy crawl 爬虫名 2.创建scrapy项目步骤 2.1先配置scrapy框架，操作语句：pip install scrapy 2.2先打开windows+r,输入cmd，在scrapyproject目录下创建项目 创建项目语句：scrapy startproject myfirstProject ...
Scrapy第三(②)篇：创建scrapy项目
Good Luck
08-14 4286
修改Anaconda镜像源conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls yes此时在C:\Users\Administrator（这里是电脑用户名）下就会生成配置文件.condarcchannels: - https://mirrors.tuna.tsinghua.edu.cn/anaco。...
Scrapy项目实战之爬取某社区用户详情
12-16
本文介绍了Scrapy项目实战之爬取某社区用户详情，分享给大家，具有如下： get_cookies.py from selenium import webdriver from pymongo import MongoClient from scrapy.crawler import overridden_settings # ...
Scrapy实战项目合集
最新发布
05-21
Scrapy实战项目合集
Python-Scrapy 入门级爬虫项目实战
08-21
Python-Scrapy 入门级爬虫项目实战 糗事百科段子爬取
scrapy项目源码（入门练习）
11-10
scrapy练手实战项目，由简入深，适合入门练习。
爬虫---scrapy爬虫框架（详细+实战）
热门推荐
lihaian的博客
08-01 2万+
Scrapy是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以应用在广泛领域Scrapy常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过Scrapy框架实现一个爬虫，抓取指定网站的内容或图片。...
Python快乐编程—网络爬虫—Scrapy实战项目
hfbsjkdsb的博客
03-24 580
通过分析页面中的一篇文章，提取文章名、文章URL、文章的点击数、文章评论数等信息。观察图中的数据，可以看到click111757611后对应的值为第一篇博客的点击数，comment111757611对应的值为第一篇博客的评论数，以此类推，每篇博客的点击数与评论数都可以在该数据中找到，因此可以通过该数据使用正则表达式提取博客点击数和评论数。等待程序运行完成后，进入“D:\scrapy_project\image”目录中，会发现有一个名为full的文件夹，打开该文件夹，将看到爬取到的图片，如图所示。
Scrapy爬虫框架实战
学而思(xiejava的blog)
09-12 2104
Python实现爬虫是很容易的，一般来说就是获取目标网站的页面，对目标页面的分析、解析、识别，提取有用的信息，然后该入库的入库，该下载的下载。以前写过一篇文章《Python爬虫获取电子书资源实战》，以一个电子书的网站为例来实现python爬虫获取电子书资源。爬取整站的电子书资源，按目录保存到本地，并形成索引文件方便查找。这次介绍通过Scrapy爬虫框架来实现同样的功能。
scrapy之实战演练（干货-比沙漠还干）
m0_58399594的博客
06-20 133
大家好，我是阿爬！这里是讲述阿爬和阿三爬虫故事的爬友圈。 继上期潜聊scrapy，本期为续集，做一个实例演示分享，希望能提升大家scrapy的使用技巧
百看不如一练，Python爬虫之Scrapy框架爬虫实战！
2301_78096149的博客
05-19 62
Python爬虫中Scrapy框架应用非常广泛，经常被人用于属于挖掘、检测以及自动化测试类项目，为啥说Scrapy框架作为半成品我们又该如何利用好呢？下面的实战案例值得大家看看。1、Scrapy框架之命令行2、项目实现Scrapy是为持续运行设计的专业爬虫框架，提供操作的Scrapy命令行。至于为什么要用命令行，主要是我们用命令行更方便操作，也适合自动化和脚本控制。至于用Scrapy框架，一般也是较大型的项目，程序员对于命令行也更容易上手。首先介绍一下相关文件的作用，方便我们到时候修改相关代码。
python实战|用scrapy爬取当当网数据
Kuls
02-27 1905
1说在前面的话 在上一篇文章中我们介绍了scrapy的一些指令和框架的体系，今天咱们就来实战一下，用scrapy爬取当当网（网站其实大家可以随意找，原理都是一样...
scrapy框架实战
weixin_56382303的博客
05-14 1316
👨‍💻更多精彩尽在博主首页：i新木优子👀 🎉欢迎关注🔍点赞👍收藏⭐留言📝 🧚‍♂️寄语:当你将信心放在自己身上时，你将永远充满力量👣 ✨有任何疑问欢迎评论探讨 什么是全站数据crawling呢，顾名思义就是将一个网站的全部数据都crawling下来，这里我采用scrapy框架，这里我提供了很多方式，可以挑选自己喜欢的玩一玩 接下来有请我们的幸运儿：不能说的网站名，我怕不过审🚗 0️⃣1️⃣创建scrapy项目 scrapy startproject 文件名 cd 文件名 scrapy gensp.
scrapy爬虫项目实战
05-13
好的，下面给你介绍一下Scrapy爬虫项目实战。 1. 确定目标网站和爬取目标 首先需要确定要爬取的目标网站和要爬取的目标信息。可以通过观察网站的页面结构和URL规律来确定。 2. 创建Scrapy项目 使用命令行工具创建...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值