urlopen()在发送请求的时候需要携带参数url,而且urlopen()返回的是一个对象,通过urlopen()这个模块实例化一个对象,比如:response = urlopen(url),然后如果想得到这个实例化的对象的具体内容可以使用read()方法:response.read(),但是直接调用read()方法无法对内容中的中文部分进行解析,所以要指定编码的格式,而编码的格式可以从网页的charset=utf-8中看到,这里是utf-8,所以解码应该用utf-8的编码集,response.read().decode('utf-8'),这样就可以的到网页的全部内容啦!
爬虫笔记之urlopen()
最新推荐文章于 2024-05-06 00:08:33 发布