r语言 python 报错 nonetype write_将Privoxy代理用于Tor时，Scrapy会出现NoneType错误 - python...

最新推荐文章于 2022-07-06 09:33:55 发布
最新推荐文章于 2022-07-06 09:33:55 发布
阅读量233 收藏
点赞数
文章标签： r语言 python 报错 nonetype write
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39990410/article/details/111458420
版权
在Ubuntu 14.04上，作者尝试使用Scrapy通过Privoxy代理访问Tor网站，但在运行过程中遇到了`TypeError: to_bytes must receive a unicode, str or bytes object, got NoneType`的错误。尽管确认了Privoxy与Firefox的兼容性，但Scrapy在下载请求时出现问题。错误出现在Scrapy的源代码中，与代理设置和`to_bytes`函数有关。文章包含了Scrapy中间件和设置的相关代码，以及可能的解决方向。" 90451262,5621586,图像低照度增强算法详解与实现,"['图像处理', 'CV', '算法预研', '低照度增强']
摘要由CSDN通过智能技术生成

我正在使用Ubuntu 14.04 LTS。

我尝试了Polipo，但即使我将自己添加为allowClient，也一直拒绝进行解决方案，但它始终拒绝Firefox的连接。因此，我转而安装了Privoxy，并通过访问Tor网站验证了它与Firefox兼容，并表示祝贺此浏览器配置为使用Tor。这证实了我应该能够抓取Tor网站。

但是，当我使用Scrapy时，出现一个似乎没有人犯的错误……？

2016-07-14 02:43:34 [scrapy] INFO: Enabled downloader middlewares:

['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',

'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',

'myProject.middlewares.RandomUserAgentMiddleware',

'myProject.middlewares.ProxyMiddleware',

'scrapy.downloadermiddlewares.retry.RetryMiddleware',

'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',

'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',

'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',

'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',

'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',

'scrapy.downloadermiddlewares.chunked.ChunkedTransferMiddleware',

'scrapy.downloadermiddlewares.stats.DownloaderStats']

2016-07-14 02:43:34 [scrapy] INFO: Enabled spider middlewares:

['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',

'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',

'scrapy.spidermiddlewares.referer.RefererMiddleware',

'scrapy.spidermiddlewares.urllength.Url

最低0.47元/天 解锁文章
weixin_39990410
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HTTP代理服务器 privoxy-3.0.23-stable-src.tar.gz
04-08
Privoxy是一款带过滤功能的代理服务器，针对HTTP、HTTPS协议。通过Privoxy的过滤功能，用户可以保护隐私、对网页内容进行过滤、管理cookies，以及拦阻各种广告等。Privoxy可以用作单机，也可以应用到多用户的网络。 ...
Scrapy 设置代理报错 to_bytes must receive a str or bytes object, got NoneType
lyhyrc的博客
04-01 1815
需要在ip地址前设置http://
在scrapy使用Tor代理Ip的两种方法
weixin_43351935的博客
09-05 1945
第一个：按照https://www.cnblogs.com/kylinlin/archive/2016/03/04/5242266.html 大佬的写法，实现了 1、首先将本地的代理服务器进行设置，，这一步是为了与polipo对接。。 2、因为我们在polipo的配置文件中写了 洋葱头代理的地址和端口（9050），我们使用socks请求端口9150发出每次请求。 socksParentPro...
raise TypeError(‘to_bytes must receive a str or bytes ‘TypeError:
qq_46567520的博客
07-06 1063
在scrapy 设置代理学习过程中日志出现报错raise TypeError('to_bytes must receive a str or bytes ' TypeError: to_bytes must receive a str or bytes object, got NoneType
python nonetype异常_python-Scapy-创建数据包并显示导致> NoneType对象没有属性“ route” <...
weixin_39875832的博客
12-06 229
我刚刚发现了一些奇怪的东西.进行以下操作>>> from scapy.layers.inet import Ether,IP,UDP>>> e=Ether()>>> i=IP()>>> u=UDP()>>> p=e/i/u>>> p.show()导致此错误###[ Ethernet ]###...
#R# R语言多元统计包简介:各种假设检验 统计方法 聚类分析 数据处理
duqi_yc的专栏
07-24 9938
www.biostatistic.net/统计分析 生物信息 sas matlab R语言 Multivariate Statistics （多元统计） 网址：http://cran.r-project.org/web/views/Multivariate.html 转：http://rbbs.biosino.org/Rbbs/posts/list/223.page 基本的R包已经实现
Python库 | gfwlist2privoxy-1.0.1.tar.gz
04-09
资源分类：Python库 所属语言：Python 资源全名：gfwlist2privoxy-1.0.1.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
privoxy-3.0.28-stable-src.tar_privoxystab_
10-02
Privoxy是一个免费的、开源的网络代理服务器，专门用于增强网络浏览体验，提供过滤网页内容、管理网站访问权限和增强隐私保护等功能。在“privoxy-3.0.28-stable-src.tar_privoxystab_”这个压缩包中，包含的是...
privoxy-3.0.23-stable-src.zip
08-28
先使用unzip privoxy-3.0.23-stable-src.zip -d . ，在当前目录得到一个privoxy-3.0.23-stable-src.tar.gz压缩包，然后再tar -xf privoxy-3.0.23-stable-src.tar.gz,就可以编译安装了
项目实战-招标网站关键字段爬取错误分析
Ducunyu的博客
11-22 450
项目场景： 爬取招标网站必联网，出现KeyERROR 问题描述： 提示：这里描述项目中遇到的问题： 例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据 APP 中接收数据代码： @Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget
R--基本统计分析方法（包及函数）
Alvin-He的专栏
10-21 2万+
摘要：目前经典的统计学分析方法主要有回归分析，Logistic回归，决策树，支持向量机，聚类分析，关联分析，主成分分析，对应分析，因子分析等，那么对于这些经典的分析方法在R中的使用主要有那些程序包及函数呢？ 1、线性模型~回归分析： 【包】：stats   【函数】：lm(formula, data,  ...) 逐步回归：step(lm(formula, data
R语言安装软件包
weixin_44035267的博客
01-12 1万+
R语言安装软件包1 打开RGui.exe，执行```install.packages("software name")```，安装成功后会提示```The downloaded binary packages are in ...```，给出了程序包存放路径2 选择程序包，点击```Install package(s) from local files...```，选中路径里面下载好的程序包，会出现```successfully unpacked```的提示3 命令及执行结果示例 1 打开RGui.exe，
R语言︱常用统计方法包+机器学习包（名称、简介）
热门推荐
素质云笔记
02-11 3万+
转载于：http://www.dataguru.cn/thread-116761-1-1.html 时间上有点过期，下面的资料供大家参考 基本的R包已经实现了传统多元统计的很多功能，然而CRNA的许多其它包提供了更深入的多元统计方法，下面要综述的包主要分为以下几个部分：  1） 多元数据可视化（Visualising multivariate data）：  绘图方法：  基本画图函
【PYTHON】TypeError: to_bytes must receive a unicode, str or bytes object, got int
麦田里的守望者
03-05 6804
Python之scrapy框架之post传输数据错误：TypeError: to_bytes must receive a unicode, str or bytes object, got int 错误名：TypeError: to_bytes must receive a unicode, str or bytes object, got int 错误翻译：类型错误：to_bytes必须接...
python爬虫框架怎么,python爬虫框架搭建中的问题
weixin_33199715的博客
03-26 536
C:\Python27\python.exe C:/first/main.py2016-10-09 23:19:48 [scrapy] INFO: Scrapy 1.2.0 started (bot: first)2016-10-09 23:19:48 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'first.spiders',...
相对重要性分析
吴苏
02-04 1万+
 在生态环境领域中，有时候我们要分析多个解释变量对响应变量的影响，当含有多个响应变量时，为了方便展示，我们可以bar图对结果展示。R的relaimpo程序包有多种模式计算解释变量的重要性，这里以“lmg”模式为例。 library(relaimpo) library(vegan) fc=read.csv("D:\\wykt\\factor.csv",header = T,row.names = 1...
scrapy中使用讯代理动态转发
Kwoky的博客
04-09 3369
scrapy源代码中查找http11.py文件，相对路径为： Lib/site-packages/scrapy/core/downloader/handlers/http11.py 找到下面内容，注释掉： if isinstance(agent, self._TunnelingAgent): headers.removeHeader(b'Proxy-Authorization') 否则p...
ubuntu22.04安装nagios4
最新发布
08-24
Ubuntu 22.04（Focal Fossa）系统默认使用的是Debian包管理系统，Nagios是一款流行的企业级网络监控工具。下面是安装Nagios 4的基本步骤： 1. **更新系统**: ```bash sudo apt update && sudo apt upgrade ``` 2. **添加Nagios PPA（个人软件包存档）**: N Nagios官方并没有官方PPA，但我们通常会使用像下面这样的第三方源： ```bash curl -fsSL https://www.nagios.com/redirect/nagios-ppa | sudo bash - ``` 3. **安装依赖并确认权限**: ```bash sudo apt install software-properties-common python-software-properties sudo add-apt-repository ppa:nagiosdev/nagios4 ``` 4. **再次更新源**: ```bash sudo apt update ``` 5. **安装Nagios及依赖组件**: ```bash sudo apt install nagiosXI nagios-plugins nagios-privoxy ``` 6. **配置Nagios**: 安装完成后，你需要按照向导完成配置，包括设置管理员账户、主机名、时间zone等信息，这通常通过`/usr/share/doc/nagios*/configure`目录下的脚本来完成。 7. **启动服务和设置自动启动**: ```bash sudo systemctl start nagiosxi sudo systemctl enable nagiosxi ``` 8. **访问Nagios Web界面**: 使用浏览器访问`http://your_server_ip/nagiosxi`，首次登录时可能需要修改配置文件`/etc/nagiosxi/webadmin/users.cfg`创建一个管理员用户。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值