![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python爬虫入门学习
分享学习爬虫的经验
UVCuttt
Trust
展开
-
Python爬虫入门库之selenium+chromedriver的组合拳来爬取斗鱼主播信息
经过之前的介绍,学会了requests,BeautifulSoup库的简单使用,现在将介绍selenium+chromedriver的方式来实现爬虫1.首先准备库pycharm的话在File->Settings->然后对了,在国内,可以设置镜像,不然会很不方便,有时候安装不上,有时候搜索不出来镜像:https://mirrors.aliyun.com/pypi/simp...原创 2020-05-04 19:16:17 · 411 阅读 · 0 评论 -
Python爬虫入门库之BeautifulSoup库的常见使用
当我们用requests库或是selenium库获取到我们的文本信息之后,使用BeautifulSoup库来进行信息筛选比正则表达式更为严谨。接下来我直接介绍文本信息的处理,需要了解一丢丢CSS筛选器的知识。首先先来个实例,按照这个实例来讲解from bs4 import BeautifulSoupimport requestsimport string# 储存文本的文件开辟fil...原创 2020-05-02 11:46:02 · 275 阅读 · 0 评论 -
Python爬虫入门库之requests库的常用操作
requests作为爬虫入门库,我在学习过程中感觉操作比较简单本文将从下面几个方面来介绍其常见功能1.如何使用两种请求get和post(其他请求不做说明)2.如何伪装自身3.如何对返回信息进行处理首先,使用前需要导入库import requestsget和post请求的使用URL = 'https://www.baidu.com/'rGet = requests.get...原创 2020-05-01 11:15:49 · 291 阅读 · 0 评论