抱着学一样东西 就把一样东西学精的心态 第一次接触到了python
想学爬虫 于是乎就在网上各种找资料 视频 第一次接触到 urllib
看了视频讲座 有了以下一些疑问 自己在网上搜 也没有找到答案 希望大牛们看到 能给个解释 谢谢了
首先想知道的是 python3 urllib这个库 可以不可以同时调用 headers 和 代理ip 来访问指定网页 如果可以的话
麻烦能不能给个例子
然后就是 我在用urllib 的headers 登录的时候 自己创建了个函数 代码如下:
def headers(url,ua):
headers = ('User-Agent','ua')
opener = urllib.request.build_opener()
opener.addheaders = [headers]
urllib.request.install_opener(opener)
data = urllib.request.urlopen(url).read().decode('utf-8','ignore')
return data
好像调用这个函数 程序就会报错 报错代码如下 :
self._output(request.encode('ascii'))
UnicodeEncodeError: 'ascii' codec can't encode characters in position 305-307: ordinal not in range(128)
百度了一下 也没有解决 我尝试把 .decode('utf-8','ignore') 这里去掉 也没有解决 期待大神的回复 谢谢