weixin_42143550的博客

r=requests.get(url,params=None,**kwargs) 使用get函数会内部生成一个Request对象，以及一个Response对象（也就是 r ）； Response对象®包含了Request对象发送的全部信息以及爬虫返回的全部内容； URL:全称为Uniform Resource Locator统一资源定位符，包含了协议，服务器名称，路径和文件名等信息。API：全称...

最简单的爬虫 import urllib import urllib.request # 爬虫时候，url最后加上反斜杠 url = 'http://www.baidu.com/' response = urllib.request.urlopen(url = url) # 打印response中的数据 content = response.read().decode('utf-8') print...

我们在使用爬虫的时候，经常会用到cookie进行模拟登陆和访问。在使用urllib库做爬虫，我们需要借助http.cookiejar库中的CookieJar来实现。 CookieJar类有一些子类，分别是FileCookieJar，MozillaCookieJar，LWPCookieJar。 CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求...