关于scrapy的to_unicode must receive a bytes, str or unicode object, got set报错解决

最新推荐文章于 2022-07-06 09:33:55 发布
最新推荐文章于 2022-07-06 09:33:55 发布
阅读量1.7k 收藏
点赞数 1
分类专栏： 爬虫 文章标签： 爬虫 scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shi_quandong/article/details/83629565
版权

scrapy的to_unicode must receive a bytes, str or unicode object, got set

框架虽然帮我们省去了很多不需要考虑的底层问题，从而提高了开发效率，但是遇到有些错误提示，让人根本无从下手，笔者今天就遇到下图这个问题，问题貌似是跟编码问题有关，尝试了各种办法都没解决
在这里插入图片描述
最后在配置文件里找到了原因
在这里插入图片描述
由于经常用requests等模块爬去小数据，所以把这里的代理地址加上了花括号，而我们的scrapy框架是不需要用花括号的

Donge11
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
记一个scrapy发送POST请求问题
蛐蛐的博客
09-10 640
1.问题 data= { 'keywords': None, 'channelId': 0, 'channel_id': 0, 'orderFlg': 1,#时间倒排 'pageNoCurrent': 1,#当前页码，从1开始 'isLockChannel': 0 } scrapy.FormRequest(url=self.base_url,formdata=
python的scrapy爬虫模块间进行传参_scrapy爬虫:scrapy.FormRequest中formdata参数详解
weixin_39921689的博客
12-14 873
1. 背景在网页爬取的时候，有时候会使用scrapy.FormRequest向目标网站提交数据(表单提交)。参照scrapy官方文档的标准写法是：# header信息unicornHeader = {'Host': 'www.example.com','Referer': 'http://www.example.com/',}# 表单需要提交的数据myFormData = {'name': 'Jo...
【PYTHON】TypeError: to_bytes must receive a unicode, str or bytes object, got int
麦田里的守望者
03-05 6804
Python之scrapy框架之post传输数据错误：TypeError: to_bytes must receive a unicode, str or bytes object, got int 错误名：TypeError: to_bytes must receive a unicode, str or bytes object, got int 错误翻译：类型错误：to_bytes必须接...
Scrapy 设置代理报错 to_bytes must receive a str or bytes object, got NoneType
lyhyrc的博客
04-01 1815
需要在ip地址前设置http://
scrapy to_bytes must receive a unicode, str or bytes object, got int
Great Expectations的博客
03-29 2115
这个 formdata 表单参数要是str 才可以，可以参考scrapy 源代码 form.py form_data = { "navigateType": "910", "firstCategoryId": "910", "secondCategoryId": "910", ...
raise TypeError(‘to_bytes must receive a str or bytes ‘TypeError:
qq_46567520的博客
07-06 1063
在scrapy 设置代理学习过程中日志出现报错raise TypeError('to_bytes must receive a str or bytes ' TypeError: to_bytes must receive a str or bytes object, got NoneType
【scrapy】FormRequest <TypeError: to_bytes must receive a unicode, str or bytes object, got int>
weixin_30826095的博客
12-11 700
原因: formdata的dict中，有value是int.......(有value不是byte类) 1 class FormRequest(Request): 2 3 def __init__(self, *args, **kwargs): 4 formdata = kwargs.pop('formdata', None) ...
PyPI 官网下载 | scrapy_ajax_utils-0.11.tar.gz
01-16
Scrapy_AJAX_Utils 是一个基于 Python 的 Scrapy 框架扩展库，主要用于帮助开发者在 Scrapy 爬虫项目中处理 AJAX 请求。这个库的版本为 0.11，可以从 PyPI（Python Package Index）官网下载，资源文件名为 "scrapy_...
scrapy_爬虫python_tailua9_python_百度图片爬虫_scrapy_
10-02
在"scrapy_爬虫python_tailua9_python_百度图片爬虫_scrapy_"这个项目中，我们主要关注的是如何使用Scrapy来编写一个针对百度图片的爬虫。首先，让我们详细了解Scrapy的基本架构和组件。 Scrapy框架由多个核心组件...
代码以及其他_scrapy爬虫框架课程_scrapy_
10-03
scrapy爬虫框架课程，包含全部课件与代码课程纲要：1.scrapy的概念作用和工作流程2.scrapy的入门使用3.scrapy构造并发送请求4.scrapy模拟登陆5.scrapy管道的使用6.scrapy中间件的使用7.scrapy_redis概念作用和流程8....
scrapy爬虫注意点（1）—— scrapy.FormRequest中formdata参数
热门推荐
Kosmoo的博客
10-20 3万+
1. 背景 在网页爬取的时候，有时候会使用scrapy.FormRequest向目标网站提交数据（表单提交）。参照scrapy官方文档的标准写法是： # header信息 unicornHeader = { 'Host': 'www.example.com', 'Referer': 'http://www.example.com/', } # 表单需要提交的数据 my...
scrapy TypeError: Request url must be str or unicode, got Selector:
蔡定交
06-02 6389
运行时报错： TypeError: Request url must be str or unicode, got Selector: 类型错误：请求url必须是str或unicode，获取选择器： 先打印类型看一下，发现是.Selector 解决办法：写xpath的时候，加上.extract()即可提取为字符串 再来看一下输出类型 重新运行，正常 ...
Scrapy 爬取 豆瓣电影的短评
u013402772的专栏
04-15 7439
之前爬取电影信息的时候，将电影短评的url一并存起来了。 因此爬取电影短评的时候只需将数据库中存在的url 放入start_urls中就好了。spider.py# -*- coding: utf-8 -*- from scrapy.selector import Selector from scrapy.spiders import Spider from scrapy.http import R
coercing to Unicode: need string or buffer, int found报错
Hallywood的博客
03-05 2万+
在实践中遇到如下问题：报错的代码段如下：for word in fd.keys(): ss=ss+ word+'\t'+fd[word]+'\n'参考资料发现原因是字符串和变量相加时会出现coercing to Unicode: need string or buffer, int found的错误。因为这里其中fd[word]是属于数值型的。所以把fs[word]转化成string就可以...
学习tensorflow遇到的问题
qq_33772192的博客
03-03 1万+
1.tensorflow.python.framework.errors_impl.permissiondeniederror /path permission denied 问题的解决方式 在Linux环境中运行python程序时可能会出现上述问题，解决问题的办法就是将你的路径改为绝对路径，例如： ‘/path/to/MNIST_data/’ 改为： "/home/yangjy/path...
Scrapy FormRequest formdata 中dict value是dict情况解决方法
蜗牛工作站
10-04 3404
在学习Scrapy 中，发现有的网站使用Post方法提交的表单是这种情况： 这样在编写post时使用以下代码无法实现： yield scrapy.FormRequest(url, method='POST',formdata ={'body':{"modelId":"%s"%model['modelId'],"catid":'%s'%catid,"orderInt":"1"
wParam与lParam的区别
weixin_30268071的博客
02-16 557
wParam与lParam的区别 lParam 和 wParam 是宏定义，一般在消息函数中带这两个类型的参数，通常用来存储窗口消息的参数。 LRESULT CALLBACK WindowProc(HWND hwnd, UINT uMsg, WPARAM wParam, LPARAM lParam);wParam 通常用来存储小段信息，如，标志lParam 通常用于存储消息所需的对象LR...
lParam 和 wParam
WUYUAN2011WOAINI的专栏
05-10 5936
lParam 和 wParam 是宏定义，一般在消息函数中带这两个类型的参数，通常用来存储窗口消息的参数。 LRESULT CALLBACK WindowProc(HWND hwnd, UINT uMsg, WPARAM wParam, LPARAM lParam); wParam 通常用来存储小段信息，如，标志 lParam 通常用于存储消息所需的对象 LRESULT CALLBACK
cannot import name 'unicode_to_str' from 'scrapy.utils.python'
最新发布
04-05
This error occurs when you are trying to import the function `unicode_to_str` from the `scrapy.utils.python` module, but it is not found in the module. This function was removed from Scrapy in ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值