![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python爬虫
文章平均质量分 81
花落指尖❀
想每天分享,但是精力有限,长时间断更,可能去拯救世界了……
每一分钟的坚持,都是为了生活。
想学尽天下习,问遍世间路。
一个想凭借自己活下去的00后,
一个想通过努力创造公平的年轻人。
没有做到最好的追求,不如不做!
对知识能够改变命运深信不疑
展开
-
21天学习挑战赛——Python爬虫 selenium自动化操作浏览器
Selenium库中有个叫WebDriver的API,WebDriver有点像可以加载网页的浏览器,但是它可以像BeautifulSoup或者其他Selector对象一样用来查找页面元素,与页面上的元素进行交互(发送、点击等),以及执行其他操作。Selenium可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。隐式等待针对的是元素定位,隐式等待设置了一个时间,在一段时间内判断元素是否定位成功,如果完成了,就进行下一步。很明显被识别为爬虫。原创 2022-08-20 18:43:59 · 479 阅读 · 0 评论 -
21天学习挑战赛——Python 爬虫入门
1. 爬虫概述1. 爬虫概述爬虫不一定非得用 Python,Java、C语言也可以。编程语言是工具,爬取数据是目的,在实现目的过程中只要达到目的,使用什么工具都是可以的。而大多数人喜欢用 Python 的原因是 Python写爬虫简单。1.3 爬虫是否合法爬虫在法律上是不被禁止的,也就是说法律允许爬虫的存在。但是万物都有两面性,爬虫分为善意的爬虫和恶意的爬虫。善意的爬虫,不会破坏被爬取的网站的资源,正常访问频率,不窃取用户隐私;...原创 2022-08-12 19:53:14 · 298 阅读 · 0 评论 -
Python——爬虫(Scrapy框架定义、内容、数据流流程、安装)
此系列内容为 自己学习、整理内容,分享知识并供自己日后回顾。如果你能够看到内容有误,欢迎指正。如果你有疑问,欢迎提出,一起探讨,一起进步。????????????????????目录1.Scrapy定义2.Scrapy内容3.Scrapy数据流过程4.安装 Scrapy1.Scrapy定义 Scrapy 是一个纯 Python 实现的、流行的网络爬虫框架,它使用了一些高级功能来简化网页的爬取,能让我们的爬虫更加地规范、高效。2.Scrapy内容Scrapy内容原创 2021-11-13 22:00:16 · 941 阅读 · 0 评论 -
Python——爬虫(用yagmail模块三行代码发送一封邮件)
先上代码,后讲解。import yagmail #导入第三方模块yagmailyag = yagmail.SMTP(user='发件人邮箱', password='授权码', host='服务器地址')yag.send(to=['收件人邮箱'], subject='主题', contents='邮件内容')第一行: 导入第三方模块 yagmail 。第二行: 使用 SMTP协议与邮箱服务器进行连接。SMTP 是 Simple Mai...原创 2021-11-07 16:51:15 · 1217 阅读 · 0 评论 -
Python——爬虫(selenium定义、用selenium打开浏览器、获取数据、处理数据、控制浏览器)
1.selenium定义 selenium 是浏览器自动化测试框架,原本被用于网页测试。在爬虫领域,selenium 可以控制浏览器,模仿人浏览网页,从而获取数据,自动操作等。2.安装selenium浏览器驱动器 以Chrome浏览器为例,首先打开Chrome浏览器,依次点击浏览器右上角的 三个点——>帮助——>关于Google Chrome。可以看到浏览器的版本信息,如下图所示,我的浏览器版本是95.0.4638.69。 打开驱...原创 2021-11-04 19:04:06 · 2416 阅读 · 2 评论 -
Python爬虫的基本原理和requests的基本使用——爬虫入门
1、爬虫的基本概念 网络爬虫,简称爬虫,是一种按照一定的规则,自动地抓取互联网信息的程序或者脚本。爬虫做的事情和蜘蛛类似,所以网络爬虫也被成为网络蜘蛛(spider)。2、爬虫的工作原理 爬虫像浏览器一样向服务器发送请求,拿到服务器返回的数据后,根据我们自己设定的规则去获取需要的数据,数据处理完成后再将数据保存起来。 简单地说,爬虫就是模拟浏览器的行为,从而获取网站的数据。爬虫的三个步骤:①:获取数据,爬虫会根据我们提供的网址,向服务器发送请...原创 2021-08-18 14:57:38 · 3587 阅读 · 3 评论 -
Python利用库csv保存数据类型为csv表格数据类型。——爬虫数据保存
目录1、CSV基本概念csv文件举例:用Excel打开:用记事本打开:2、使用的库3、写入csv文件示例程序:运行结果:用Excel打开:用记事本打开:4、读取csv文件示例程序:运行结果:1、CSV基本概念 CSV全称Comma-Separated Values(逗号分隔值),它是一种通用的、相对简单的文件格式,被用户、商业和科学广泛使用。 CSV是按照一定规范书写的文本,csv格式的文件是纯文...原创 2021-08-17 23:59:17 · 1945 阅读 · 0 评论 -
Python利用库openpylx保存数据为Eecel类型。——爬虫数据保存
目录1、Excel基础概念:2、安装openpylx模块3、利用openpylx模块对Excel进行操作3.1对Excel文件进行写入代码运行结果:3.2对Excel文件进行读操作代码运行结果:1、Excel基础概念:主要是文件名、单元格、工作表三个概念。如下图所示:Eecel文件又被成为工作簿(workbook),每个工作簿可以新建多个工作表(worksheet)。每个工作表很多单元格组成,每个单元格通过列...原创 2021-08-16 00:25:39 · 525 阅读 · 0 评论