python
苒梭
这个作者很懒,什么都没留下…
展开
-
Python爬虫第三次任务
任务预览(2天)3.1 安装selenium并学习3.1.1安装selenium并学习。3.1.2使用selenium模拟登陆163邮箱。注:163邮箱直通点:https://mail.163.com/ 。3.2 学习IP相关知识3.2.1学习什么是IP,为什么会出现IP被封,如何应对IP被封的问题。3.2.2抓取西刺代理,并构建自己的代理池。注:西刺直通点:https://www...原创 2019-05-15 21:02:25 · 144 阅读 · 0 评论 -
Python爬虫第一次任务
任务预览(2天)1. 学习get与post请求,尝试使用requests或者是urllib用get方法向https://www.baidu.com/发出一个请求,并将其返回结果输出。# 此代码是使用requests库向百度发出请求import requestsdef main(): HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT...原创 2019-05-11 15:11:42 · 307 阅读 · 0 评论 -
Python爬虫第二次任务
任务预览(两天)2.1 学习beautifulsoup1.学习beautifulsoup,并使用beautifulsoup提取内容。2.使用beautifulsoup提取丁香园论坛的回复内容。注:丁香园直通点:http://www.dxy.cn/bbs/thread/626626#626626 。2.2学习xpath1.学习xpath,使用lxml+xpath提取内容。2.使用xpa...原创 2019-05-13 00:25:39 · 253 阅读 · 0 评论 -
Python爬虫第四次任务
任务预览(2天)4.1实战大项目:模拟登录丁香园,并抓取论坛页面所有的人员基本信息与回复帖子内容。注:丁香园论坛:http://www.dxy.cn/bbs/thread/626626#626626我们可以通过查找<div class= “nav_account”>中的a元素,通过模拟点击这个按钮。login = browser.find_element_by_class_n...原创 2019-05-17 22:21:20 · 230 阅读 · 0 评论