![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
crawler
文章平均质量分 53
Mr_李先森
这个作者很懒,什么都没留下…
展开
-
python爬虫之POST登录方式之Cookie、Session
import reimport requests登录方式一: 携带登录后的Cookie下面有一个需要主要的点: ‘Cookie’的值,在登录界面点击右键 检查元素(或者检查),然后选择网络(或者Network)。然后你正常登录,下面的网络中会出现很多请求,找POST请求中的login,复制set-Cookie里面的内容就ok了。最后就是把生成的内容存到一个html里面,可以在网页里面打开...原创 2018-12-22 11:26:01 · 10969 阅读 · 0 评论 -
Python之简单爬取网页内容
爬去网页通用流程这样看着虽然很麻烦,但是爬取网页都离不开这四个步骤,以后如果爬取更复杂的网页内容,只需要在这个基础上添加内容就ok了。import requestsclass Qiushi: # 初始化函数 def __init__(self,name): self.name = name self.url_base = 'https://w...原创 2018-12-22 12:00:30 · 792 阅读 · 0 评论 -
爬虫之css选择器、xpath选择器、正则 三种提取数据方法的用法
css选择器、xpath选择器、正则三种提取数据的用法:Xpath选择器的用法:路径表达式结果/从根目录开始 必须具有严格的父子关系//从当前标签 后续节点含有即可选出*通配符,匹配任何元素节点。//div/book[1]/title选择div下第一个book标签的title元素//div/book/title[@lang=‘z...原创 2018-12-28 19:29:25 · 1942 阅读 · 0 评论