实战Scrapy中文网存入MySQL

最新推荐文章于 2022-07-08 15:42:27 发布
最新推荐文章于 2022-07-08 15:42:27 发布
阅读量971 收藏 3
点赞数 1
分类专栏： Python学习 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30500113/article/details/83340037
版权
本文介绍了如何使用Scrapy爬虫框架抓取Scrapy中文网实验室的内容，并将数据存储到MySQL数据库中。通过创建项目、定义items、编写蜘蛛文件、配置MySQL存储插件、启动pipeline以及在MySQL中创建数据库和表，实现了全站数据的爬取与存储。在实际运行过程中，由于未设置主键自动增长导致错误，设置后成功运行。
摘要由CSDN通过智能技术生成 
	 本机环境:win7 64位   Python3.6   Scrapy1.5

环境看了，接下来看一下我们要实现的需求，我们还是爬取Scrapy中文网实验室的内容，也就是这么个网址里面的东东：http://lab.scrapyd.cn，这里的话请诸君可能要问了，怎么又是这个网址，之所以这样，是因为这个网址是我们专门维护的，那就能避免因沧海桑田打不开网址、让你的爬虫实验无法完成的问题，最终也能让你快速掌握scrapy数据存入MySQL的原理。好了，来看我们的需求：
在这里插入图片描述
好了就这么个需求，也就是把整个lab.scrapyd.cn的内容都拿下，这里的话其实也就是scrapy爬取下一页的内容，若不清楚，请参看文档：《scrapy下一页（多页）爬取》，很简单，接下来我们一步、一步来！

一、创建蜘蛛项目
1：scrapy startproject scrapyMysql

二、编写要存入数据库的字段item
进入scrapyMysql/scrapyMysql目录下，打开：items.py，编写相应的items，item其实就是对应着我们的字段，这里我们只存两个字段：名言、标签，因此这里我们就添加两个item，代码如下

最低0.47元/天 解锁文章
小熊提伯斯
关注
专栏目录
Python 爬虫教程中转站
若尘的博客
04-06 5666
Python爬虫教程（详细教程 + 各种实战），欢迎大家订阅！！！
scrapy 保存到mysql_Scrapy保存数据到mysql
weixin_42395135的博客
01-19 200
scrapy pipeline 文件如下：class JianshuPipeline(object):def __init__(self):data = {'host':'localhost','port':3306,'user':'root','password':'******','database':'jianshu','charset':'utf8mb4'}self.conn = pymy...
scrapy 保存mysql_Scrapy存入MySQL（五）：实战Scrapy中文网存入MySQL
weixin_34887818的博客
01-19 474
通过前面的scrapy教程，我们已经把scrapy存入Mysql的每一个细节都讲得一清二楚，包括：MySQL的安装(文：《Mysql快速无坑安装》)、MySQL的管理(文：《Navicat使用详解》)、MySQL驱动安装问题(文：《Python Mysql驱动安装及填坑教程》)、Scrapy数据存入MySQL实现原理(文：《MySQLPipeline插件实现细节》)，如果对细节还有疑惑，不妨移步上...
Scrapy爬取数据并存储到MySQL
一个人的编程之路
09-27 7912
Scrapy爬虫 爬虫框架 架构 流程 组件 功能 同步插入数据库 异步插入数据库 mysql pipeline
scrapy-mysql
Stupid-Tyro的博客
05-16 525
scrapy-mysql items.py 用于接收content和author import scrapy class ScrapymysqlItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() content = scrapy.Field() ...
scrapy+mysql
weixin_47803451的博客
06-03 273
mysql下载安装就不说了，自己搜搜就行了，scrapy项目创建前面也说过了，直接上代码 sprider文件，从网页获取下一页网址然后递归无限爬取 import scrapy import requests from lxml import etree from ..items import FirstpaItem class TestSpider(scrapy.Spider): name = 'Test' allowed_domains = ['read.qidian.com']
scrapy分布式写入到mysql_在Scrapy中将项目写入MySQL数据库
weixin_42571280的博客
01-18 201
I am new to Scrapy, I had the spider codeclass Example_spider(BaseSpider):name = "example"allowed_domains = ["www.example.com"]def start_requests(self):yield self.make_requests_from_url("http://www.ex...
scrapy详解基础，一篇到进阶门槛
weixin_32693561的博客
05-23 1109
前言 将学scrapy过程中一些常用到但是不需要经常更改的代码记录下来，以便后面使用，同时打卡中间一些常错点。 创建和启用 常见的创建scrapy语句: scrapy startproject 项目名 scrapy genspider 爬虫名 域名 scrapy crawl 爬虫名 例如： ...
python网络爬虫
恰恰恰～的博客
11-12 3305
运行环境：python3 BeautifulSoup4解析库 中文文档： https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html BeautifulSoup4 是 HTML/XML 的解析器，主要的功能便是解析和提取 HTML/XML 中的数据。 Python中用于爬取静态网页的基本方法/模块有三种：正则表达式、BeautifulSoup和Lxml。三种方法的特点大致如下： beautifulSoup 的功能和 lxml 一样
python中scrapy框架应用数据存入MySQL
weixin_43131464的博客
09-20 1042
本项目用是scrapy框架，以爬取当当网商品信息为例，详细介绍scrapy使用。 本项目把爬到的数据放入数据库中，title与link为字符串格式，价格与评论数为浮点型，方便筛选。 首先：新建dangpjt项目 scrapy startproject dangpjt 新建后可以看到如下框架； 首先填写item信息： 修改原有代码为： import scrapy class DangpjtI...
scrapy(blog)数据保存到MySQL
大改的博客
07-07 236
1.settings.py(配置)①②2.spiders3.items.py4.pipelines.py
scrapy 保存到mysql_scrapy爬虫保存数据到mysql
weixin_35545345的博客
02-04 199
直接上例子# -*- coding: utf-8 -*-#!/usr/bin/python3# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: http://doc.scrapy.org/en/latest/topics/item-pipe...
scrapy+mysql安装
chang___hong的专栏
03-21 488
最近重新了系统，导致原先的scrapy不能用，出现了各种问题： 问题1： Python： Windows下pip安装库出错：Microsoft Visual C++ 9.0 is required < Unable to find vcvarsall.bat http://blog.csdn.net/liwugang43210/article/details/50732920 问题2：我装了
scrapy导入mysql_Scrapy 将数据导入MySQL
weixin_42464553的博客
01-21 467
配置环境：已安装好Scrapy库，MySQL，Navicat for MySQL 可视化工具；基本思路：1.pipeline文件处理的是spider爬取得到的item进行处理，包括导入数据库，保存图片及json文件，以及各种处理。2.通过Navicat可视化工具先对MySQL数据库进行预处理，或者是MySQL Shell，建表插数据；常用MySQL 语句：1.新建数据库及表格：create dat...
scrapy数据存入mysql_Scrapy爬虫实例教程（二）---数据存入MySQL
weixin_29560137的博客
01-19 1013
本文将详细描述使用scrapy爬去左岸读书所有文章并存入本地MySql数据库中，文中所有操作都是建立在scrapy已经配置完毕，并且系统中已经安装了Mysql数据库(有权限操作数据库)。为了避免读者混淆，这里也使用tutorial作为scrapy project名称(工程的名字可以有读者自己定制)。1. 建立tutorial工程1 scrapy startproject tutorial上述命令运...
Scrapy+python3.6异步存储mysql数据库
世事一场大梦,人生几度秋凉
02-08 1412
爬取网址：腾讯社招（http://hr.tencent.com/position.php?keywords=&amp;tid=0&amp;start=0#a）总共2202条数据pipelines.pyfrom twisted.enterprise import adbapi import pymysql import pymysql.cursors class MysqlTwistedPipe...
Scrapy爬虫实战+Mysql
xiuxiuxiulai的博客
09-02 9123
本次爬取的网址为：http://www.yy6080.cn/vodtypehtml/1.html（推荐使用谷歌浏览器，方便看源码） 首先在启动命令行，创建爬虫项目: scrapy startproject NewVideoMovie 然后： cd NewVideoMovie 最后创建spider: scrapy genspider spider http://www.yy6080.cn/vod...
scrapy爬取数据写入mysql
Eric
07-08 892
爬虫
scrapy爬虫并存入mysql
最新发布
07-28
你可以使用Scrapy框架来编写爬虫，并将数据存储到MySQL数据库中。下面是一个示例代码，展示了如何实现这个过程： 首先，确保你已经安装了Scrapy和MySQL连接库（如pymysql）。 然后，在Scrapy项目的settings.py文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值