2024年最全Python使用Scrapy框架爬取数据存入CSV文件_python scrapy保存csv

最新推荐文章于 2024-07-20 17:12:48 发布
最新推荐文章于 2024-07-20 17:12:48 发布
阅读量1.1k 收藏 9
点赞数 20
分类专栏： 程序员 文章标签： python scrapy 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84584831/article/details/138379046
版权

  1. 安装scrapy

注意事项：scrapy和twisted存在兼容性问题，如果安装twisted版本过高，运行scrapy startproject project_name的时候会提示报错，安装twisted==13.1.0即可。

  1. 基于Scrapy爬取数据并存入到CSV

3.1. 爬虫目标，获取简书中热门专题的数据信息，站点为https://www.jianshu.com/recommendations/collections，点击"热门"是我们需要爬取的站点，该站点使用了AJAX异步加载技术，通过F12键——Network——XHR，并翻页获取到页面URL地址为https://www.jianshu.com/recommendations/collections?page=2&order_by=hot，通过修改page=后面的数值即可访问多页的数据，如下图：

最低0.47元/天 解锁文章
2401_84584831
关注
  • 20
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python-WenshuSpiderScrapy框架爬取中国裁判文书网案件数据
09-09
**Python-WenshuSpiderScrapy框架爬取中国裁判文书网案件数据** 在信息技术领域，数据采集是关键的一环，尤其对于大数据分析和研究工作。在这个项目中，我们使用Python的Scrapy框架来爬取中国裁判文书网上的案件...
python爬虫——保存数据为.csv文件
weixin_56067972的博客
11-15 2万+
爬虫存储数据为.csv文件
Python使用Scrapy框架爬取数据存入CSV文件
python学习者的博客
06-17 8431
1. Scrapy框架 　　Scrapy是python下实现爬虫功能的框架，能够将数据解析、数据处理、数据存储合为一体功能的爬虫框架。 2. Scrapy安装 1. 安装依赖包 2. 安装scrapy 注意事项：scrapy和twisted存在兼容性问题，如果安装twisted版本过高，运行scrapy startproject project_name的时候会提示...
Python SQLite3 教程
热门推荐
allway2的博客
11-17 3万+
在本教程中，我们将使用 Python 以编程方式处理 SQLite3 数据库。 SQLite 通常是一种无服务器数据库，您可以在包括 Python 在内的几乎所有编程语言中使用它。无服务器意味着无需安装单独的服务器来使用 SQLite，因此您可以直接与数据库连接。 SQLite 是一个轻量级数据库，它可以提供零配置的关系数据库管理系统，因为无需配置或设置任何东西即可使用它。 我们将使用 SQLite 版本 3 或 SQLite3，所以让我们开始吧。 目录 创建连.
Python数据库sqlite3详解
我的博客
07-02 2万+
本文介绍了 SQLite3 数据库的详细使用方法
python中sqlite3的介绍和运用
m0_74407084的博客
12-10 4575
单行插入——> 游标.execute("INSERT INTO 表单名称 （值1，值2，...）)，值的个数要与表单的列数保持一直，这里有菜单和单价两列，所以值的个数是2.提醒：第二行中的数据库的名称一定要带“.db”后缀，第四行sql括号中的菜名和单价不用加引号，错误示范：（"菜名","单价") ，通过创建游标来调用execute（）方法执行sql命令.数据的插入和查询和创建表单一样，同样是通过sql命令实现的，不过相较于创建表单，要注意的一点就是，在数据插入之后，要调用commit（）方法保存修改.
Python标准库88. 数据库 (sqlite3) 实践
SteveRocket's-Blog
06-17 3115
Python标准库已经自带了一个轻量级的关系型数据库sqlite3模块，无需额外安装任何东西。sqlite作为后端数据库，结合SQL可以搭配Python建Web，或者制作有数据存储需求的工具，如Web框架Django默认的后端数据库使用的就是sqlite。 Python3标准库中的sqlite3是一个用于操作SQLite数据库的模块，它提供了一系列方便的方法和函数，用于在Python程序中创建、访问、修改SQLite数据库。SQLite是一个轻量级、嵌入式的数据库，它的使用非常广泛，特别是在移动开发和嵌入
Python-使用scrapy框架爬中国省市地区数据
08-10
本篇文章将深入讲解如何使用Scrapy框架爬取中国省市地区的五级页面数据。 首先，我们需要了解Scrapy的基本架构。Scrapy是由多个组件构成的，包括Spider（爬虫）、Item（数据模型）、Item Pipeline（数据处理管道）...
Python爬虫-scrapy-城市二手房数据爬取与保存
01-09
本项目专注于利用Scrapy框架来实现这一目标，Scrapy是一个强大的Python爬虫框架，它提供了丰富的功能，使得网络数据抓取变得更加便捷和模块化。 首先，我们要了解Scrapy的基础架构。Scrapy由多个组件组成，如...
Python-基于pythonscrapy框架抓取豆瓣影视资料
08-10
你可以通过编写自定义的`Pipeline`类来处理数据，比如存入数据库（如SQLite、MySQL）或者文件系统（如CSV、XML）。 **8. 扩展与优化** - **处理反爬机制**：豆瓣等网站可能会有反爬策略，如验证码、User-Agent限制...
windows通过浏览器访问noVNC（基于web的远程桌面）
weixin_58448088的博客
03-30 1万+
VNC (Virtual Network Console)是虚拟网络控制台的缩写，分为server端和client端两部分，分别部署完成后在server端简单的配置即可使用，基于TCP的通信。noVNC项目是通过取消VNC Client的安装，直接通过浏览器访问noVNC，然后由noVNC间接访问VNC server来达到client web化。
pyinotify简单实用（用于文件系统监控）
BOKE
05-11 3069
Pyinotify是一个Python模块，用来监测文件系统的变化。 Pyinotify依赖于Linux内核的功能—inotify（内核2.6.13合并）。 inotify的是一个事件驱动的通知器，其通知接口通过三个系统调用从内核空间到用户空间。pyinotify结合这些系统调用，并提供一个顶级的抽象和一个通用的方式来处理这些功能。 pyinotify其实就是通过调用系统的inotify来实现
windows部署novnc浏览器远程控制windows
xiaofeixia666888的博客
04-02 4884
1.安装python3.8 2.安装ULtraVNC(server端) 最后需要重启电脑，yes就是立即重启 no就是稍后自己重启 右键打开控制台 install Service 安装完之后 编辑 admin properties ok 到此服务端安装完成 3. python安装websockify 解压找到setup.py 使用python3.8解释器安装 python3 setup.py install .........
pyinotify学习总结
任我行的博客
11-06 6922
Pyinotify是一个Python模块，用来监测文件系统的变化。 Pyinotify依赖于Linux内核的功能—inotify（内核2.6.13合并）。 1、安装： #pip install pyinotify 或者 git clone https://github.com/seb-m/pyinotify.git cd pyinotify/ python setup.py install 2...
web端通过novnc方式远程windows server环境搭建详解
Java后端技术栈
10-20 2886
最近公司项目有一个需求，需要实现novnc方式到服务器，之前没有做过类似的功能，听其他技术说可以自己搭一个novnc的server,搞一个websocket的请求代理，通过novnc的方式就可以实现，抱着试试的心态搭了一下，整个过程搭建下来用了不到10分钟就搞定了。
使用Python的Turtle库绘制动态风车
最新发布
爱写代码的小朋友
07-20 395
python绘制风车
随便选择一个网站使用Scrapy框架进行爬取数据，并对爬取的数据进行简单的数据分析
05-24
我选择了豆瓣电影网站（https://movie.douban.com/）进行爬取，并对爬取的电影数据进行简单的数据分析。 首先，我们需要安装 Scrapy 框架。在命令行中输入以下命令： ``` pip install scrapy ``` 安装完成后，我们就可以开始编写爬虫了。 1. 创建 Scrapy 项目 在命令行中输入以下命令： ``` scrapy startproject douban_movie ``` 这样就会在当前目录下创建一个名为 douban_movie 的 Scrapy 项目。 2. 定义 Item 在 Scrapy 中，Item 是我们要爬取的数据结构。在 douban_movie 目录下创建名为 items.py 的文件，并定义 MovieItem 类，如下所示： ```python import scrapy class MovieItem(scrapy.Item): title = scrapy.Field() # 电影名称 score = scrapy.Field() # 电影评分 director = scrapy.Field() # 导演 actors = scrapy.Field() # 演员 year = scrapy.Field() # 上映年份 country = scrapy.Field() # 制片国家/地区 ``` 3. 编写 Spider 在 Scrapy 中，Spider 是用来定义如何爬取某个网站的。在 douban_movie 目录下创建名为 movie_spider.py 的文件，并编写 MovieSpider 类，如下所示： ```python import scrapy from douban_movie.items import MovieItem class MovieSpider(scrapy.Spider): name = 'movie' allowed_domains = ['movie.douban.com'] start_urls = ['https://movie.douban.com/top250'] def parse(self, response): movie_list = response.xpath('//ol[@class="grid_view"]/li') for movie in movie_list: item = MovieItem() item['title'] = movie.xpath('.//span[@class="title"]/text()').extract_first() item['score'] = movie.xpath('.//span[@class="rating_num"]/text()').extract_first() item['director'] = movie.xpath('.//div[@class="bd"]/p/text()[1]').\ extract_first().replace('\n', '').split(' ')[1] item['actors'] = movie.xpath('.//div[@class="bd"]/p/text()[1]').\ extract_first().replace('\n', '').split(' ')[5].replace('...', '') item['year'] = movie.xpath('.//div[@class="bd"]/p/text()[2]').\ extract_first().replace('\n', '').split('/')[0].strip() item['country'] = movie.xpath('.//div[@class="bd"]/p/text()[2]').\ extract_first().replace('\n', '').split('/')[1].strip() yield item next_page = response.xpath('//span[@class="next"]/a/@href') if next_page: url = response.urljoin(next_page.extract_first()) yield scrapy.Request(url, callback=self.parse) ``` 在 MovieSpider 中，我们首先定义了爬虫的名称、允许爬取的域名和起始 URL。在 parse 方法中，我们使用 XPath 选择器获取电影列表中的每一部电影，并从中提取出电影名称、评分、导演、演员、上映年份和制片国家/地区等信息，最后将这些信息存入 MovieItem 中，并通过 yield 返回。 在最后，我们还使用 XPath 选择器获取下一页的 URL，并通过 scrapy.Request 发出请求，继续爬取下一页的数据。 4. 运行爬虫 在命令行中进入 douban_movie 目录，输入以下命令即可运行爬虫： ``` scrapy crawl movie -o movie.csv ``` 这样就会将爬取到的电影数据保存为名为 movie.csv 的 CSV 文件。 5. 数据分析 我们使用 Pandas 进行数据分析。在 Python 中输入以下代码： ```python import pandas as pd df = pd.read_csv('movie.csv') print('电影数量：', len(df)) print('平均评分：', df['score'].mean()) print('导演数量：', len(df['director'].unique())) print('演员数量：', len(df['actors'].unique())) print('年份数量：', len(df['year'].unique())) print('国家/地区数量：', len(df['country'].unique())) ``` 这样就可以统计出爬取到的电影数量、平均评分、导演数量、演员数量、年份数量和国家/地区数量等信息。 完整代码如下：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值