爬虫
miss_ok
这个作者很懒,什么都没留下…
展开
-
获取网络爬虫请求地址跳转问题
一般情况下,可以直接使用r.request.url来查看网络爬虫请求地址。但是,有时使用r.request.url获得的地址需要进一步跳转。此时,可以通过设置allow_redirects的属性值为True,允许跳转来查看请求地址。例如:import requestsurl = "http://www.baidu.com/s"params = {'wd': 'java'}r=requests.get(url, params=params, allow_redirects=True)prin原创 2020-07-29 14:30:44 · 919 阅读 · 0 评论 -
Python爬虫获取网页编码为“ISO-8859-1”,中文乱码
问题:要爬取的网页编码为‘ISO-8859-1’,查看的时候中文不显示,出现乱码。解决办法:r.encoding = r.apparent_encodingr.text[:1000]可以解决中文乱码问题。原创 2020-07-28 09:53:41 · 3249 阅读 · 0 评论