python
crawler
秋葵豆腐咖喱饭
arik
展开
-
xpath初步语法
文章目录选取节点谓语通配符选取多个路径运算符选取节点-== nodename==:选取此节点下的所有子节点/:在前,表示从根节点选取;在后表示某节点下的节点//:从全局节点中选取节点,随便在哪个位置@:选取某个节点的熟悉。//book[@price]谓语谓语用来查找某个特定的节点或者包含某个特定值的节点,被嵌在方括号中。路径表达式描述/bookstore/b...原创 2020-03-23 22:12:33 · 185 阅读 · 0 评论 -
resquest库
文章目录查看响应内容get请求发送POST请求使用代理cookiesession处理不信任的SSL证书查看响应内容resp.text返回unicode格式的数据,返回数据类型是"str"resp.content返回字节流数据,返回数据类型是"bytes"get请求resp = requests.get(url, params=kw, headers=headers)发送POST请求...原创 2020-03-22 21:59:21 · 347 阅读 · 0 评论 -
http.cookiejar模块
该模块主要的类有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。CookieJar:管理HTTP cookie的值,存储cookie,向传出的HTTP请求添加cookie的对象。整个cookie都存在内存中,对cookie实例进行垃圾回收后,cookie也将丢失。FileCookieJar(filename,delayload=No...原创 2020-03-22 17:00:23 · 369 阅读 · 0 评论 -
urllib库
文章目录urlopen函数urlretrieve函数urlencode函数parse_qs函数urlparse和urlsplitrequest.Request类urlopen函数python3中,所有和网络请求相关的方法,都被集到urllib.request模块下面。form urllib import requesteresp = request.urlopen("http://www....原创 2020-03-17 22:30:32 · 1121 阅读 · 0 评论