python从文件读取URL,导致爬虫失败

需求:从文件中逐行读取md5字符串,作为URL参数抓取某个接口返回的内容,并保存到数据库。

问题:接口返回请求参数错误,经过对比发现直接在URL中写死MD5参数就没问题,数据正常返回。

解决过程:

1.首先排除了从文件中读取的字符串,和直接写的字符串编码不同的问题。
2.后面想到txt文件之前也是用python脚本生成的,生成txt文件的时候再每一行加了\n换行符,尝试剔除\n换行符,结果还是失败!
3.Windows下的文本换行末尾会自动加上\r\n,尝试剔除这两个字符后,数据返回正常!

总结:因为使用python生成txt文件的时候,主动在每一行后面加了\n,所有以为只要剔除/n就没事了,没想到末尾又被Windows换成了\r\n

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值