![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
sincolxu2018
非典型IT男
展开
-
爬虫-01
1.1 学习get与post请求学习get与post请求,尝试使用requests或者是urllib用get方法向https://www.baidu.com/发出一个请求,并将其返回结果输出。如果是断开了网络,再发出申请,结果又是什么。了解申请返回的状态码。了解什么是请求头,如何添加请求头。1.2 正则表达式学习什么是正则表达式并尝试一些正则表达式并进行匹配。然后结合requests、...原创 2019-04-07 19:06:51 · 136 阅读 · 0 评论 -
爬虫-04
4.1 实战大项目模拟登录丁香园,并抓取论坛页面所有的人员基本信息与回复帖子内容。丁香园论坛:http://www.dxy.cn/bbs/thread/626626#6266264月13日22:00前进入石墨文档提交打卡链接https://shimo.im/docs/GrkEQmkbN8oI6nHL...原创 2019-04-15 07:18:34 · 118 阅读 · 0 评论 -
爬虫-02
2.1 使用beautifulsoup提取内容。2.2 使用lxml+xpath提取内容。学习xpath,使用lxml+xpath提取内容。打卡链接:https://shimo.im/docs/UACKf8Y1XOIVCYc31、使用beautifulsoup提取丁香园论坛的回复内容。丁香园直通点:http://www.dxy.cn/bbs/thread/626626#626626 。...原创 2019-04-09 20:36:56 · 87 阅读 · 0 评论 -
爬虫-03
3.1 使用selenium模拟登陆163邮箱。3.2 IP相关知识学习什么是IP,为什么会出现IP被封,如何应对IP被封的问题。抓取西刺代理,并构建自己的代理池。西刺直通点:https://www.xicidaili.com/ 。打卡链接:https://shimo.im/docs/l0rSJfSfLQAi9qu91、安装并使用selenium模拟登陆163邮箱。163邮箱直通点:...原创 2019-04-09 23:16:46 · 105 阅读 · 0 评论