scrapy框架数据库存储遇到问题即反馈

最新推荐文章于 2023-11-23 09:54:38 发布
最新推荐文章于 2023-11-23 09:54:38 发布
阅读量432 收藏 1
点赞数
文章标签： python 数据库开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51033537/article/details/124297063
版权

1.mysql连接不上

（1)最开始以为这是因为mysql服务未启动原因

遭遇挫折，输入net start mysql命令后出现

                        MySQL 服务正在启动 .

                        MySQL 服务无法启动。

                        服务没有报告任何错误 

       查找原因：尝试了很多方法：比如删除data,重新指令下载data，始终无法解决，最终从MySQL 服务正在启动 . MySQL 服务无法启动。 服务没有报告任何错误。_koloumi的博客-CSDN博客_mysql服务正在启动 无法启动

这位大佬的博客得到的解决。原来是Mysql服务的端口3306或33060被占用，进入任务管理器，找到占用mysql服务的id进程结束，就可以启动成功

（2）mysql仍然连接不成功

这时候就看到你启动的服务了，右击此电脑管理，双击服务和应用程序

双击服务

找到mysql服务

我安装的是mysql8.0.19，可以看到有两个mysql服务，一个是本地系统，一个是网络服务，我要用的是网络服务，便启动了网络服务的服务，为了避免本地系统服务影响，我就禁用了

这时候看你的pycharm连接数据库的语句

检查发现host=' '，这里写错了，因为启动的网络服务，我却赋值的是本机的ip,而本地服务并没有启动，所以连接不成功，换成host='localhost'，在实验一次，连接成功。

2.爬取内容不能存入数据库

        因为数据库中忘了创建对应结构的表导致爬取失败，创建后成功存入数据

 

 

 

 

 

小吴学计算机
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
scrapy框架下的python爬虫例子
10-20
利用scrapy框架，构建的一个python语言爬虫，爬取信息为文字信息，最后存储在mysql数据库中（仅包含python代码部分）
Python：Scrapy框架中Item Pipeline组件使用详解
12-25
Item Pipeline简介 Item管道的主要责任是负责处理有蜘蛛从网页中抽取的Item，他的主要任务是清晰、验证和存储数据。 当页面被蜘蛛解析后，将被发送到Item管道...将解析到的数据存储到数据库中 编写自己的Item Pipelin
基于scrapy+mysql爬取博客信息并保存到数据库中
01-14
写在前面 本期内容：基于scrapy+mysql爬取博客信息并保存到数据库中 实验需求 - anaconda丨pycharm - python3.11.4 - scrapy - mysql 实验描述 本次实验实现了：使用Scrapy框架爬取博客专栏的目录信息并保存到MySQL数据库中，实验主要涉及到Python的爬虫技术以及MySQL的基本操作，需要有一定的基础。 实验框架 - Scrapy 实验需求 - Scrapy：Scrapy是一个基于Python的开源网络爬虫框架，用于快速、高效地获取网页数据。它具有强大的抓取能力，支持多线程和分布式爬虫，能够并行爬取多个网页。Scrapy提供了方便的API和丰富的功能，可以自定义爬虫规则和处理流程，支持数据的持久化存储和导出。它还提供了可视化的调试工具和强大的反爬虫策略，可以帮助开发者更轻松地构建和管理网络爬虫。Scrapy是一个成熟、稳定和广泛应用的爬虫框架，被广泛用于数据抓取、搜索引擎和大数据分析等领域。 - MySQL：MySQL是一个开源的关系型数据库管理系统，由Oracle Corporation开发和 ……
记一次python操作插入数据到mysql，没报错但数据库表里没更新数据
qq_40126958的博客
04-08 2410
我的代码： import mysql.connector class product(): def __init__(self,proName): self.proName=proName def addproduct(self,proPrice,proNum):#添加商品 mydb=mysql.connector.connect( ...
爬虫学习bug记录--解决scrapy中items包导入不正确的问题
sweetqp的博客
02-01 1227
项目场景： 做毕业设计，学习scrapy中，照着网上的教程做到导入items包时报错... 问题描述： from testsc.items import TestscItem ModuleNotFoundError: No module named 'testsc.testsc'： 原因分析： 文件导入的问题 解决方案： 将这个项目的文件设置成源文件就???? ①这是我的项目结构 ②右击它，设置成源文件 ③ 运行成功 ...
scrapy插入mysql报错问题整理
tingyun_say的博客
12-18 1824
首先我发现还是不能没有写博客的习惯，对自己短期内遇到的问题作一个精简有效的整理，花费一点时间但是能达到真正积累知识的效果，怎么样来说都是对个人有益的。虽然想搭一个自己的博客，但苦于现在没时间没钱(主要还是时间上)，暂时还是放着。 本文记录最近在公司对接数据库遇到的一些问题，有自己遇到的之后解决了的，也有是在找错的时候发现的其他容易出现的错误和常见到的需要注意的地方，在这里做了部分整理，希望在以后的
一文带你深入了解 Scrapy 中的 Pipelines 和 Item
weixin_68789096的博客
11-23 145
在Scrapy中定义Item类很简单，通常在项目中的items.py文件中创建。# 添加其他字段...
scrapy爬虫数据传入mysql以及处理数据缺失问题
ZF98095的博客
04-19 1831
一、python的安装以及scrapy的安装 http://www.scrapyd.cn/doc/这是scrapy的中文文档，里面的scrapy的安装方法很好用，强烈推荐。 二、对于爬虫的编写、遇到的问题以及解决方法 按照scrapy中文网站的流程，创建项目，编写，css选择器，翻页，里面都有很详细的说明，如果数据想要写入txt文档，那很简单，但是我的需求是写入mysql，数据量不算大，但...
scrapy运行成功输出数据但是没有保存
weixin_43615803的博客
04-04 3705
在pipelines.py文件中创建好了保存到mysql、mongodb、或者本地的pipeline，用scrapy crawl xxx运行成功，没有报错，并且控制台成功输出数据，但是数据库和本地都没有数据，这时候要考虑的是settings.py里面是不是忘记配置了，如果想保存到mysql，mogodb需要在settings.py里面添加： MONGO_URI = 'localhost' MONG...
scrapy异步存存储mysql，但是数据库没有数据。
xiaomoxian567的博客
12-08 982
1.是否连接池参数名或参数是否正确。 2.def __init__(self, pool): self.pool = pool 函数名是不是写成 int 3.写sql时候是否出现中文括号（一开始写成中文括号，找半天问题！这一定要注意） sql = """ insert into tb_info (id, title, genre) values (%s, %s, ...
MySQL写入数据时，不报错但是数据表中看不到数据
skye_fly的博客
11-15 3851
一般这种情况都是没有写入数据，存在很多原因，我这里是因为将变量作为非变量参数传输： 一般传输指定数据时应该如下写： conn = pymysql.connect('*****', 'root', '123456', 'test') # 使用cursor()方法获取操作游标 cursor = conn.cursor() # SQL语句：向数据表中插入数据 sql = """INSERT INTO employee(first_name, last_name, age, sex, inc
基于Scrapy爬虫框架的赛氪网竞赛信息爬取以及利用MySQL数据库进行本地化存储，并将竞赛分类统计，进行可视化处理.zip
10-22
基于Scrapy爬虫框架的赛氪网竞赛信息爬取以及利用MySQL数据库进行本地化存储，并将竞赛分类统计，进行可视化处理.zip
python爬虫基础知识原理及Scrapy框架以及scrapy-redis分布式策略入门知识.zip
最新发布
05-15
而 scrapy-redis 是一个基于 Scrapy 的分布式爬虫组件，它使用 Redis 数据库来存储爬虫的请求队列和去重指纹，以实现多个爬虫实例之间的协同工作，从而实现分布式爬虫。 使用 scrapy-redis 可以帮助你构建能够跨多...
解决Scrapy使用pipline保存到数据库后返回None
呆萌的代Ma
09-19 452
这也不算报错哈 解决方法 在process_item处理完成后返回item即可： return item 案例分析 比如下面的pipeline： class MyPipeline(object): def __init__(self): host = "127.0.0.1" user = "xxx" password = "xxx" db = "xxx" self.conn = pymysql.connect(hos
scrapy,数据储存，pymysql的使用，insert into无法写入mysql数据库，#1136 - Column count doesn't match value count at row
weixin_42296890的博客
10-19 1238
ctrl+c/v永久了，总会出错。 import pymysql.cursors #conn=pymysql.connect(host='127.0.0.1', port=3308, user='test', passwd='123456') #conn.query("create database mypydb") conn1=pymysql.connect(host='127.0.0.1', ...
scrapy，scrapy-redis显示：什么都没爬取到：Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
qq_43671933的博客
12-03 7028
解决方法一、 问题：刚开始爬取有，但是后面都是Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)。 解决：可能是里面没有设置 yield scrapy.Request（dont_filter=True），dont_filter=True，默认的去重将一些网页去除了，导致没有数据。 解决方法二 问题：分布式爬虫一直都是...
scrapy+mysql不报错_Scrapy+twisted 异步MySQL批量提交不报错
weixin_36478866的博客
01-27 145
Scrapy+twisted 异步MySQL批量提交不报错在正常情况下,默认1000个item执行一次插入,如果爬虫爬取结束,就将剩下的都插入每1000个的插入如果出错,会报出来(跳到处理函数)def process_item(self, item, spider):if type(item) not in self.item_list.keys():self.item_list[type(ite...
scrapy框架爬取我爱我家并存入数据库
09-10
使用Scrapy框架爬取我爱我家网站数据，并将数据存入数据库，可以按照以下步骤进行操作： 1. 首先，创建Scrapy项目。在命令行中执行以下命令来创建一个新的Scrapy项目： scrapy startproject woaiwojia 2. 进入项目...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值