爬虫相关(一)遇到的几个小问题

问题1:
在这里插入图片描述
解决:
bs 直接BeautifulSoup(response.text)这个没问题
读取文件时要:BeautifulSoup(open(“pachong.html”,encoding="utf-8))

问题2:
在这里插入图片描述
解决:.string 对于复杂结构的标签会返回空
在这里插入图片描述
问题3:
在这里插入图片描述
解决:params要完整

问题4:
a = []
a = a.append([1,2,3])
错误,不能赋值,返回nonetype
解决 :a.append([1,2,3])
正确
问题5:
jupyter 运行代码一直是星号:
解决:
1,重启kenel and run all
2.response 没反应的话,可能网站本身连不上
问题6:
xpath 按类取标签为空
解决:当标签是多个类属性时,多个类都要@class=" 多个类 "
问题7
解决:full_url_list =[( ‘https:’ + i ) for i in url_list] 不要忘记加[]
问题8:
response.text中文乱码问题
解决
response = requests.get(。。。)
response.encoding = ‘utf-8’

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值