python爬虫常见错误

这里是引用

网页出现乱码

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AUElB64E-1597473279714)(assets/image-20200522135847735.png)]

出现乱码的原因是因为网页解码过程中没有设置如何编码

response.encoding = response.apparent_encoding

请求头参数

InvalidHeader: Invalid return character or leading space in header: User-Agent

import requests

headers = {
    'User-Agent': ' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4128.3 Safari/537.36'
}
response = requests.get('http://www.shuquge.com/txt/8659/index.html', headers=headers)
response.encoding = response.apparent_encoding
html = response.text
print(html)

其实很难发现问题在哪，但事实上是因为‘ Mozilla’之前多了个空格，把空格删去即可

得不到数据&参数错误

import requests

headers = {
    'Host': 'www.guazi.co