scrapy爬取数据存入表格中

最新推荐文章于 2022-07-14 17:41:00 发布
最新推荐文章于 2022-07-14 17:41:00 发布
阅读量2.7k 收藏 11
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42336606/article/details/80951261
版权

1、Pipeline：

2、settings：

3、items：

4、spider：

也可以用scrapy框架自带存储功能存储：

存储json格式：scrapy crawl 项目名称 -o 项目名称.json -s FEED_EXPORT_ENCIDING=utf-8
存储csv（表格）形式：scrapy crawl 项目名称 -o 项目名称.csv -s FEED_EXPORT_ENCIDING=utf-8

人生若只如初见i
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
2024年最全Python使用Scrapy框架爬取数据存入CSV文件_python scrapy保存csv
2401_84584831的博客
05-01 1134
注意事项：scrapy和twisted存在兼容性问题，如果安装twisted版本过高，运行scrapy startproject project_name的时候会提示报错，安装twisted==13.1.0即可。
python使用scrapy爬表格，爬虫中级
119365374的专栏
08-21 1267
上一篇讲道了爬虫入门，这一篇介绍怎么使用爬虫框架来爬数据。框架用的是scrapy https://doc.scrapy.org/en/latest/。在开始动手之前，还是建议大家用pyenv和virtualenv隔离一下环境。当然如果觉得麻烦的话可以略过。 先把环境切到3.5.3,然后再切换包环境。我系统是没有安装scrapy的，所以要进行下面这两步。安装了scrapy的忽略它。看不明白我在说什么
scrapy不同spider共用一个piplines存储不同数据库
稳稳C9的博客
04-05 546
实现通过scrapy不同spider共用一个piplines存储不同数据库，spider存储对应多个piplines类，日志，邮件发送
Scrapy中多个Spider，存入不同数据库中不同的表中
biebazijidanghuishi的博客
04-26 1098
有些时候，我们可能需要存入不同的数据库中，而settings中只能设置一个数据库的资料，那么这时候我们就需要使用custom_settings参数来为每一个spider配置对应的pipeline。不过scrapy版本必须是1.1以上 Class Test1(scrapy.Spider): name = "test1" custom_settings = { 'ITEM_PIPELIN...
scrapy mysql 不同的表,scrapy数据存储在mysql数据库的两种方式(同步和异步)
weixin_29215391的博客
03-27 325
方法一：同步操作1.pipelines.py文件(处理数据的python文件)import pymysqlclass LvyouPipeline(object):def __init__(self):# connection databaseself.connect = pymysql.connect(host='XXX', user='root', passwd='XXX', db='scrap...
scrapy存储到Excel中
Awesome_py的博客
10-30 1051
首先需要安装下openpyxl,写入Excel是用的这个库 pip install openpyxl 根据需要存储的item字段写入到Sheet的第一行,假如存储的字段分别是sources,url,title的话,如下代码所示,会在wuliao.xlsx中新建一个ware_detail的Sheet来存放数据,通过isinstance判断item的类型,存储指定的item from openpyxl import Workbook ''' author: tieyongjie ''...
多线程爬取在线课程并存入MySQL数据库
最新发布
04-21
以上就是"多线程爬取在线课程并存入MySQL数据库"这一主题中涉及的主要技术点，涵盖了网络爬虫的实现、数据处理、数据库操作等多个方面。通过掌握这些知识，开发者可以构建出高效、稳定的爬虫系统，实现对在线课程...
爬取空气质量数据.py.zip
04-16
在给定的“爬取空气质量数据.py.zip”压缩包中，我们可以推测主要包含了一个Python脚本，用于爬取空气质量相关的数据。尽管没有提供具体的标签，但根据文件名我们可以假设这个项目涉及网络爬虫技术和数据分析。这里...
多进程爬取在线课程并存入MySQL数据库.zip
02-22
在本项目中，我们需要创建合适的数据库表结构，如课程表、讲师表等，并编写SQL语句将爬取到的数据插入到对应的表格中。 项目实施过程中，还需要考虑以下几点： 1. 避免重复爬取：可以设置数据库主键，确保每条数据...
某医药网采集医药数据源码（包含保存CSV文件和存入数据库源码）
10-04
将爬取的医药数据保存为CSV文件，便于用户使用Excel或其他数据分析工具进行进一步处理和分析。Python的内置库`csv`可以轻松地读写CSV文件，通过创建一个writer对象，我们可以将数据一行行写入CSV文件，确保数据的...
Scrapy爬虫框架笔记
02-23
Scrapy是一个广泛使用的Python爬虫框架，它支持异步数据处理，使得爬取大量网页时效率更高。在本文中，我们将深入探讨Scrapy的核心概念、安装步骤、基本命令以及如何利用LinkExtractor进行全站爬取。 1. **Scrapy...
Python 抓取并处理页面表格数据实例。
weixin_44670952的博客
07-14 1804
自动抓取表格数据并处理，2000多条数据绝不手动处理。
使用scrapy框架爬取谷歌搜索结果的所有需要的表格
liangming666的博客
08-11 1066
这里写自定义目录标题爬虫操作的基本原理爬虫需要完成的逻辑内容html语言简单介绍利用Python得到网页原码urllib.requestrequests从网页原码中提取所需信息利用beautifulsoup提取所需信息利用正则表达式提取所需信息利用scrapy中的Xpath提取所需信息从网页中提取一个表格爬谷歌需要完成的一些设置设置user-agent设置proxy设置爬虫延时利用scrapy框架完成google搜索结果中所需样本的提取介绍scrapy框架prase内容实现pipeline内容实现Item内
使用scrapy框架爬取数据并存入excel表中
SmallSweets的博客
09-04 3543
爬取网址：http://sd.weather.com.cn/ 爬取目标：获得一个地区七天之内的天气状况,并存入excel表格中 代码部分 爬虫文件部分 import scrapy from ..items import TianqiyubaoItem class TianqiSpider(scrapy.Spider): name = 'tianqi' allowed_domains = ['weather.com.cn'] start_urls = ['http://www.w.
scrapy框架下爬取51job网站信息，并存储到表格中
guifei010的博客
03-02 2326
1. 通过命令创建项目scrapy startproject JobSpider2. 用pycharm打开项目3. 通过命令创建爬虫scrapy genspider job baidu.com4. 配置settingsrobots_obey=False Download_delay=0.5 Cookie_enable=FalseDOWNLOADER_MIDDLEWARES = { 'Job...
scrapy爬取图片存入mysql
06-03
要使用Scrapy爬取图片并将其存储到MySQL中，需要遵循以下步骤： 1. 在Scrapy项目中创建一个MySQL数据库连接。（可以使用PyMySQL库） 2. 创建一个Item类来存储图像链接和图像标题等信息。 3. 在spider中使用XPath或CSS选择器来提取图像链接和标题等信息，并通过Item将其传递给pipelines。 4. 在pipelines中，使用requests库下载图像并将其存储到本地文件系统中。 5. 然后使用Python的MySQL库将图像路径和其他相关信息插入到MySQL数据库中。 以下是一个简单的示例代码： ```python import scrapy from scrapy.pipelines.images import ImagesPipeline from scrapy.exceptions import DropItem import pymysql from PIL import Image class MySQLPipeline(object): def __init__(self, db_host, db_port, db_user, db_password, db_name): self.db_host = db_host self.db_port = db_port self.db_user = db_user self.db_password = db_password self.db_name = db_name self.conn = None self.cursor = None @classmethod def from_crawler(cls, crawler): return cls( db_host=crawler.settings.get('DB_HOST'), db_port=crawler.settings.get('DB_PORT'), db_user=crawler.settings.get('DB_USER'), db_password=crawler.settings.get('DB_PASSWORD'), db_name=crawler.settings.get('DB_NAME'), ) def open_spider(self, spider): self.conn = pymysql.connect( host=self.db_host, port=self.db_port, user=self.db_user, password=self.db_password, db=self.db_name, charset='utf8mb4', cursorclass=pymysql.cursors.DictCursor ) self.cursor = self.conn.cursor() def close_spider(self, spider): self.conn.close() def process_item(self, item, spider): try: # 将图片下载到本地 image_path = item['image_urls'][0] image_title = item['title'] image_extension = image_path.split('.')[-1] image_name = f'{image_title}.{image_extension}' image_path = image_path.replace('thumb180', 'large') image_request = scrapy.Request(image_path) image_response = scrapy.utils.python.get_val_from_func( image_request, 'response', spider=spider ) image_content = image_response.body image = Image.open(BytesIO(image_content)) image.save(f'{image_name}', quality=95) # 将图片信息插入到数据库中 sql = "INSERT INTO images (title, path) VALUES (%s, %s)" self.cursor.execute(sql, (image_title, image_name)) self.conn.commit() except Exception as e: print(e) raise DropItem(f"Error processing item: {item['image_urls']}") ``` 在Scrapy的settings.py文件中需要添加以下配置： ```python ITEM_PIPELINES = { 'scrapy.pipelines.images.ImagesPipeline': 1, 'myproject.pipelines.MySQLPipeline': 2, } IMAGES_STORE = '/path/to/your/images/folder' DB_HOST = 'localhost' DB_PORT = 3306 DB_USER = 'root' DB_PASSWORD = 'password' DB_NAME = 'database_name' ``` 在spider中需要使用ImageItem来存储图像链接和标题等信息： ```python from scrapy import Spider from myproject.items import ImageItem class MySpider(Spider): name = 'myspider' start_urls = ['http://example.com'] def parse(self, response): image_link = response.css('img::attr(src)').extract_first() image_title = response.css('img::attr(alt)').extract_first() item = ImageItem() item['image_urls'] = [image_link] item['title'] = image_title yield item ``` 这样，当爬虫运行时，它将下载图像并将其信息插入到MySQL数据库中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值