scrapy mysql 豆瓣_Python Scrapy 爬取豆瓣 Top250 并存入 MySQL 数据库, 出现 TypeError: can't concat bytes to tuple...

最新推荐文章于 2023-11-20 11:47:54 发布
最新推荐文章于 2023-11-20 11:47:54 发布
阅读量277 收藏 1
点赞数 2
文章标签： scrapy mysql 豆瓣
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39535557/article/details/113998891
版权
本文记录使用Python Scrapy爬取豆瓣Top250书籍并存储到MySQL数据库过程中遇到的错误及解决方案，包括连接数据库时的权限错误、端口号格式错误以及TypeError: can't concat bytes to tuple问题，通过修改设置和正确使用参数避免SQL注入，确保数据安全入库。
摘要由CSDN通过智能技术生成

Python Scrapy 爬取豆瓣 Top250 并存入 MySQL 数据库, 出现 TypeError: can't concat bytes to tuple

这是我自己的第一篇博客嘿嘿嘿. 感觉各种各样的教程网上都很多的, 所以我想就记录一下自己踩的坑吧. 前两天刚刚入门学习 Python 爬虫, 用的是 Scrapy 这个框架, 用起来很方便, 好用, 爬下来的数据可以存 JSON,CSV 等格式, 然后考虑到以后还要对数据处理分析, 要存到数据库里面, 所以就照着网上的教程试了一下, 然后就踩了几个坑.

1. : (1045, "Access denied for user'root'@'localhost'(usingpassword: NO)")

这个错误纯属自己粗心大意, 这个大概是说连接 MySQL 时密码错了, 可是我看了好几遍密码没错啊, 最后发现是 settings.py 的变量名和 pipelines.py 中的变量名取名取得不一样: 一个是 MYSQL_PASSWORD 一个是 MYSQL_PWD. 然后改了一样名字就好了.

2. : %d format: a number is required, not str

这个是我看别人的博客教程被坑到了, 这是我看的博客里的

47d2b7fc1b565730be8f1faa790452cf.png

图片截取自: https://blog.csdn.net/B_Ben/article/details/88918646

!!! 注意数据库端口 3306 , 没错是吧, 3306 是没错, 但是问题就出在单引号, 把 '3306' 两边的单引号去掉这个 bug 就没了.

3

最低0.47元/天 解锁文章
weixin_39535557
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬取豆瓣Top250并存储至mysql数据库
妖鹅子
04-27 974
步骤： 安装 pymysql库 连接数据库 初始化数据库和表 将爬取的数据存入数据库的表 老师使用的是SQLite 我自己改用成了mysql ----教程来自B站李巍老师的视频 # 将爬取下来的数据存入mysql数据库 def savaDataDB(datalist): init_db("movie250.db") conn = pymysql.connect( host='localhost', user='root', password
Python操作MySQL报错“can't concat tuple to bytes”
mingtiandeqiang的博客
11-20 1万+
之前写了一个爬去豆瓣音乐Top250榜单的Python程序，然后试着把爬到的数据写到MySQL数据库中，但是在写入数据库是一直报错 “can’t concat tuple to bytes” 开始的把写入数据库代码是这样的，一直找不到哪里错了。后来我把sql命令打印出来一看，鬼鬼，所有要写入的数据VALUES成了一串字符串。本来以为既然用了%s，就会变成三个。 def save_to_mysq...
packet = prelude + sql[: packet_size - 1] TypeError: can‘t concat tuple to bytes
m0_47943986的博客
10-11 668
问题处理
python 3.5 报错TypeError：can't concat str to bytes 、TypeError: write() argument must be str, not bytes
热门推荐
shashaqingmuzi的博客
07-05 2万+
原程序：out = open('train_data.txt', 'w') for sentence in sentences: out.write(sentence.encode("utf-8")+"\n") print("done!")报错：TypeError：can't concat str to bytes修改为： out.write(sentence.encode("utf...
python连接hive报错：TypeError: can‘t concat str to bytes
最新发布
zkkkkkkkkkkkkk的博客
11-20 591
2.1、进入D:\Anaconda3\lib\site-packages\thrift_sasl\__init__.py文件。2.2、添加如下代码到第101行之前。
用scrapy爬取豆瓣电影排行版的电影名，评分等并存入mysql数据库
12-22
在mysql里创建python001数据库，然后创下面的表 CREATE TABLE `movie_douban` ( `id` int NOT NULL AUTO_INCREMENT, `movie_name` text NOT NULL COMMENT '电影名', `introduce` text NOT NULL COMMENT '电影介绍...
基于scrapy爬取豆瓣top250
10-12
在这个"基于scrapy爬取豆瓣top250"的项目中，我们主要关注的是如何利用Scrapy来获取豆瓣电影Top250列表中的关键信息，包括电影的页数、电影名称、导演名字、主演名字以及评分。 首先，我们需要了解Scrapy的基本架构...
TOP250豆瓣电影短评：Scrapy 爬虫+数据清理/分析+构建中文文本情感分析模型
07-08
一、爬取豆瓣Top250的短评数据 movie_item movie_comment movie_people 二、数据清理与特征工程+统计分析 movie_item 总评分最高的前10部电影 最受欢迎的电影类别排名 最受欢迎的电影出品国家排名 最受欢迎的电影...
基于Scrapy框架的豆瓣音乐爬虫，用于爬取豆瓣音乐TOP250的音乐信息以及这些音乐的评论信息
10-24
该项目是一个基于Scrapy框架的豆瓣音乐爬虫，用于爬取豆瓣音乐TOP250的音乐信息以及这些音乐的评论信息。爬虫分为两个部分： 豆瓣音乐信息爬虫 (douban_music_spider): 爬取豆瓣音乐TOP250的音乐的基本信息，并保存...
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
09-09
在本示例中，我们将深入探讨如何使用Python3编写一个简单的网络爬虫，该爬虫能够抓取特定网页上的数据，并将这些数据存储到MySQL数据库中。首先，我们需要了解几个关键的Python库，包括`requests`、`re`（正则表达式...
python3报错 TypeError: can’t concat bytes to str 原因与解决方法
we
05-13 8723
TypeError: can’t concat bytes to str
TypeError: can't concat str to bytes OR TypeError: cannot use a string pattern on a bytes-like obj
Linli522362242的专栏
02-15 624
the differences between python2.x  and python3.x  as you tried to write words into a file #Under the python 3.x def combineWordsFromFeed(filename):     #with open(filename, 'w',encoding='utf-8') as...
python爬取豆瓣TOP250并保存到Mysql中
jyc1020的博客
10-13 1367
代码 #!/usr/bin/env python # -*- coding:utf-8 -*- import pymysql import requests from bs4 import BeautifulSoup import lxml def createDB(): # 创建数据库 print("创建数据库doubantop250...") try: ...
python 利用scrapy爬取豆瓣TOP250部电影信息分别保存为csv、json、存入mysql、下载海报图片
行者刘6
04-23 2952
目的网址https://movie.douban.com/top250最后保存的内容：csv文件、json文件、存入mysql、下载海报图片主体spider.py（其实内容很简单！）import scrapy from doubanmovie.items import DoubanmovieItem from scrapy.selector import Selector class Xianx...
Scrapy爬豆瓣电影Top250并存入MySQL数据库
weixin_30621959的博客
07-07 511
d:进入D盘scrapy startproject douban创建豆瓣项目cd douban进入项目scrapy genspider douban_spider movie.douban.com创建爬虫 编辑items.py： # -*- coding: utf-8 -*-# Define here the models for your scraped it...
scrapy爬取豆瓣电影top250并存储到mysql
星星到哪都很亮的博客
12-02 2199
1.定义item，只是作为测试用例，就只记录电影名称和评分吧 import scrapy class MovieTop250Item(scrapy.Item): # define the fields for your item here like: moviename = scrapy.Field() rating = scrapy.Field() pass
爬虫学习之11：爬取豆瓣电影TOP250并存入数据库
寸先生的AI道路
07-08 2889
     本次实验主要测试使用PyMySQL库写数据进MySQL，爬取数据使用XPATH和正则表达式，在很多场合可以用XPATH提取数据，但有些数据项在网页中没有明显特征，用正则表达式反而反而更轻松获取数据。直接上代码：from lxml import etree import requests import re import pymysql import time headers = { ...
Python3 + Scrapy 爬取豆瓣评分数据存入Mysql与MongoDB数据库。
Mr_blueD的博客
02-19 2773
首先我们先抓包分析一下，可以看到我们想要的每一页的全部数据都在"article"下。而其中每一部的电影的数据可以看到在"info"下。所以我们只要在info下找到自己的目标数据并想好匹配方法即可，本文使用的是xpath，其实也可以在spiders中导入pyquery或者BeautifulSoup来进行匹配，当然正则也是可以的。现在我们去找到目标数据。这些便是我们的目标数据，接下来便可以动手爬取了。...
python爬虫豆瓣电影250并存入mysql（函数版）
july_29的博客
04-29 2509
今天来爬取豆瓣电影250排行榜并存入mysql中 目标地址：豆瓣电影250 打开f12,可以看到我们所需要的信息全部都在标签下，先爬取一页的内容 一开始还是先导入我们所需要的库，这3个库都可以直接使用pip下载，多的不再赘述： import requests from bs4 import BeautifulSoup import pymysql 写入url和headers url = 'https://movie.douban.com/top250' headers = { "User
用python中scrapy爬取豆瓣top250的电影
05-14
好的，下面是使用Scrapy爬取豆瓣Top250电影的步骤： 1. 创建新的Scrapy项目 在命令行中使用以下命令创建新的Scrapy项目： ``` scrapy startproject douban_top250 ``` 这将创建一个名为douban_top250的新Scrapy...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值