![](https://img-blog.csdnimg.cn/4e6123c81fe948c79d484883c86f3d08.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
千锋宋宋老师-Python学习专栏
文章平均质量分 74
千锋互联金牌企业培训讲师
12年互联网行业一线企业从业经验
5年企业培训及咨询管理经验
原百度数据分析师
生命科学研究所数据分析师
央视网数据分析师
qfxietian
这个作者很懒,什么都没留下…
展开
-
两个好用到爆的Python模块,建议收藏
最常见的一个例子就是:在进行地理可视化中,自己收集的数据只保留的缩写,比如北京,广西,新疆,西藏等,但是待匹配的字段数据却是北京市,广西壮族自治区,新疆维吾尔自治区,西藏自治区等,如下。fuzz这几个ratio()函数(方法)最后得到的结果都是数字,如果需要获得匹配度最高的字符串结果,还需要依旧自己的数据类型选择不同的函数,然后再进行结果提取,如果但看文本数据的匹配程度使用这种方式是可以量化的,但是对于我们要提取匹配的结果来说就不是很方便了,因此就有了process模块。让你轻松解决烦恼的匹配问题!原创 2023-06-05 15:19:18 · 439 阅读 · 1 评论 -
30个Python代码,10分钟get常用技巧
以下方法会检查给定的字符串是不是回文序列,它首先会把所有字母转化为小写,并移除非英文字母符号。以下方法将统计字符串中的元音 (‘a’, ‘e’, ‘i’, ‘o’, ‘u’) 的个数,它是通过正则表达式做的。这个方法可以将布尔型的值去掉,例如(False,None,0,“”),它使用 filter() 函数。备注 CSDN,可以免费领取啦!下面的代码可以将列表连接成单个字符串,且每一个元素间的分隔方式设置为了逗号。如下方法首先会应用一个给定的函数,然后再返回应用函数后结果有差别的列表元素。原创 2023-06-05 15:10:38 · 256 阅读 · 0 评论 -
10个实用的数据可视化的图表总结
可视化是一种方便的观察数据的方式,可以一目了然地了解数据块。我们经常使用柱状图、直方图、饼图、箱图、热图、散点图、线状图等。这些典型的图对于数据可视化是必不可少的。除了这些被广泛使用的图表外,还有许多很好的却很少被使用的可视化方法,这些图有助于完成我们的工作,下面我们看看有那些图可以进行。 1、平行坐标图(Parallel Coordinate)我们最多可以可视化 3 维数据。但是我们有时需要可视化超过 3 维的数据才能获得更多的信息。我们经常使用 PCA 或 t-SNE 来降维并绘制它。在降维的情况下,可原创 2022-12-07 14:55:06 · 562 阅读 · 0 评论 -
Python实现循环的最快方式(for、while等速度对比)
众所周知,Python不是一种执行效率较高的语言。此外在任何语言中,循环都是一种非常消耗时间的操作。假如任意一种简单的单步操作耗费的时间为1个单位,将此操作重复执行上万次,最终耗费的时间也将增长上万倍。While和For是Python中常用的两种实现循环的关键字,它们的运行效率实际上是有差距的。比如下面的测试代码:这是一个简单的求和操作,计算从1到n之间所有自然数的总和。可以看到For循环相比While要快1.5秒。其中的差距主要在于两者的机制不同。在每次循环中,While实际上比For多执行了两步操原创 2022-12-07 14:52:29 · 417 阅读 · 0 评论 -
23个机器学习最佳入门项目(附源代码)
我们都知道,教科书上所学与实际操作还是有出入的,那关于机器学习有什么好的项目可以实操吗?我们为你推荐这篇文章,在本教程中,涵盖面向初学者,中级专家和专家的23种机器学习项目创意,以获取有关该增长技术的真实经验。这些机器学习项目构想将帮助你了解在职业生涯中取得成功、和当下就业所需的所有实践。通过项目学习是你短期内能做的最好投资,这些项目构想使你能够快速发展和增强机器学习技能。语言上,这些机器学习项目可以用Python,R或任何其他工具开发。面向初学者的机器学习项目在本部分中,我们列出了针对初学者/初学者的顶级原创 2022-12-07 14:50:34 · 393 阅读 · 0 评论 -
用Python算法预测客户行为案例
这里只有5191.0这个值,没有其他的,且只有7763条数据,这里直接将这列当做异常值,直接将这列直接删除了。这里可以看出该银行的主要用户主要集中在23-60岁这个年龄层,其中29-39这个年龄段的人数相对其他年龄段多。这是一份kaggle上的银行的数据集,研究该数据集可以预测客户是否认购定期存款y。这里包含20个特征。需要文章中的源码了可以找下方 小姐姐哈。原创 2022-11-09 11:24:10 · 692 阅读 · 0 评论 -
超详细,Python当中的pip常用命令大全
相信对于大多数熟悉Python的人来说,一定都听说并且使用过pip这个工具,但是对它的了解可能还不一定是非常的透彻,今天小编就来为大家介绍10个使用pip的小技巧,相信对大家以后管理和使用Python当中的标准库会有帮助。在下载安装一些标准库的时候,需要考虑到兼容问题,一些标准库的安装可能需要依赖其他的标准库,会存在版本相冲突等问题,我们先用下面这条命令行来检查一下是否会有冲突的问题存在。例如我们想要安装指定版本的第三方的包,例如安装3.4.1版本的matplotlib,原创 2022-11-09 11:06:04 · 502 阅读 · 0 评论 -
Pandas/NumPy中的几个加速方法
Numpy 是用于科学计算的 Python 语言扩展包,通常包含强大的 N 维数组对象、复杂函数、用于整合 C/C++和 Fortran 代码的工具以及有用的线性代数、傅里叶变换和随机数生成能力。当一个数据帧分配给另一个数据帧时,如果对其中一个数据帧进行更改,另一个数据帧的值也将发生更改。select_dtypes() 的作用是,基于 dtypes 的列返回数据帧列的一个子集。借助于 argpartition(),Numpy 可以找出 N 个最大数值的索引,也会将找到的这些索引输出。原创 2022-09-20 13:37:00 · 527 阅读 · 0 评论 -
Python自动化办公小程序:实现报表自动化和自动发送到目的邮箱
首先我们需要根据业务需求来制定我们所需要的报表,并不是每个报表都需要进行自动化的,一些复杂二次开发的指标数据要实现自动化编程的比较复杂的,而且可能会隐藏着各种BUG。所以我们制作的流程应该是符合业务逻辑的,制作的程序也应该是符合逻辑的。以上代码均通过测试可以正常使用,但是pandas的read函数针对不同的形式的文件读取,其read函数参数也有不同的含义,需要直接根据表格的形式来调整。对于那些偶尔需要使用的报表,或者是二次开发指标,需要复制统计的报表,这些报表就没必要实现自动化了。...转载 2022-07-27 16:28:49 · 290 阅读 · 0 评论 -
Python轻量级Web框架:Bottle库
清华网为我们每一个网络接入点都提供了公网ip,在cmd中使用ipconfig查看ip地址,将run中的运行参数改为你的公网ip,然后在任何一台设备的浏览器上(建议手机,电脑浏览器有时候会很慢)输入ip地址和端口号(默认80),就可以访问啦!被其修饰的函数的参数与冒号后的参量同名,而在函数中,就可以使用name这个参数作为处理变量,最后返回响应即可。Bottle库还有很多强大的功能,Cookie的读写、插件的安装卸载与禁用都不在话下,也可以将Bottle部署到其他的服务器,非常简单的实现多线程。...原创 2022-07-27 16:24:40 · 238 阅读 · 0 评论 -
用Python实现基于人脸识别的门禁管理系统(附源码)
Python+Django+RESTframework+JsonWebToken+Redis+Dlib)该项目为宿舍门禁系统管理,并额外加入宿舍管理、水电费管理、在线充值、报修管理、系统日志等多项功能,详细见下方截图等。项目自带Windows系统调试用Redis-x64-3.2.100,默认监听127.0.0.1,6379端口,requirepass为Qq111111。Django为后端、H5/CSS/JS为前端、MySQL为后端数据库、Redis为缓存、Dlib为人脸识别程序库。......原创 2022-07-27 16:25:26 · 669 阅读 · 0 评论 -
详解Python当中的pip常用命令
小编相信对于大多数熟悉Python的人来说,一定都听说并且使用过pip这个工具,但是对它的了解可能还不一定是非常的透彻,今天小编就来为大家介绍10个使用pip的小技巧,相信对大家以后管理和使用Python当中的标准库会有帮助。在下载安装一些标准库的时候,需要考虑到兼容问题,一些标准库的安装可能需要依赖其他的标准库,会存在版本相冲突等问题,我们先用下面这条命令行来检查一下是否会有冲突的问题存在。我们需要查看一下现有的这些包中,哪些是需要是被升级的,可以用下面这行命令行来查看,添加下方小姐姐微信!......原创 2022-07-27 16:11:41 · 262 阅读 · 0 评论 -
如何在Python中操作MySQL?
一. Python 操作数据库介绍Python 标准数据库接口为 Python DB-API,Python DB-API为开发人员提供了数据库应用编程接口。Python 数据库接口支持非常多的数据库,你可以选择适合你项目的数据库:GadFlymSQLMySQLPostgreSQLMicrosoft SQL Server 2000InformixInterbaseOracleSybase ...你可以访问Python数据库接口及API查看详细的支持数据库列表。不同的数据库你需要下载不同的DB API模块,例如原创 2022-06-24 15:58:09 · 137 阅读 · 0 评论 -
整理了27个Python人工智能库,看你学会了几个
为了大家能够对人工智能常用的 Python 库有一个初步的了解,以选择能够满足自己需求的库进行学习,对目前较为常见的人工智能库进行简要全面的介绍。1、NumpyNumPy(Numerical Python)是 Python的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库,Numpy底层使用C语言编写,数组中直接存储对象,而不是存储对象指针,所以其运算效率远高于纯Python代码。我们可以在示例中对比下纯Python与使用Numpy库在计算列表sin值的速度对比:从如原创 2022-06-24 15:55:03 · 3776 阅读 · 0 评论 -
PyCharm快捷键大全
工欲善其事必先利其器,PyCharm 是最popular的Python开发工具,它提供的功能非常强大,是构建大型项目的理想工具之一,如果能挖掘出里面实用技巧,能带来事半功倍的效果。本文主要向大家介绍了Python语言之Pycharm 常用快捷键,通过具体的内容向大家展示,希望对大家学习Python语言有所帮助。-END-...原创 2022-06-07 16:00:14 · 169 阅读 · 0 评论 -
这里有一个专为程序员打造的面试刷题神器,Get
又是一年一度的毕业季,又是来势汹汹的就业大潮...虽然今年的就业季比往年竞争更大,加之疫情影响,让求职市场愈发严峻。但对于IT行业来说,市场变革所带来的影响还是较其他行业小很多的,甚至有些同学已经在后台跟千儿妹晒offer了,竟然还是好几个offer,真是令(sang)人(xin)羡(bing)慕(kuang)!不过话说回来,想要在竞争激烈的就业大潮中稳占先机,提升技术是一名程序员的必由之路。唯有掌握扎实可靠的技术和面试技巧,才能拿到令人眼馋的高薪offer。今天千儿妹要隆重推荐一个专为程序员打造的技术学习原创 2022-06-06 17:12:36 · 678 阅读 · 0 评论 -
编程从业五年的十四条经验,句句朴实
1.当性能遇到问题时,如果能在应用层进行计算和处理,那就把它从数据库层拿出来。排序和分组就是典型的例子。在应用层做性能提升总是要比在数据库层容易的多。就像对于MySQL,SQLite更容易掌控。2.关于并行计算,如果能避免就尽量避免。如果无法避免,记住:能力越大,责任越大。如果有可能,尽量避免直接对线程操作。尽可能在更高的抽象层上操作。例如,在iOS中,GCD,分发和队列操作是你的好朋友。人类的大脑没有被设计成用来分析那些无穷临时状态——这是我的惨痛教训所得。3.尽可能简化状态,尽可能局部本地化。适用至上。原创 2022-06-06 16:21:58 · 117 阅读 · 0 评论 -
用Python操作Word文档,看这一篇就对了
本文主要讲解Python中操作word的思路。一、Hello,world!使用win32com需要安装pypiwin32pipinstallpypiwin32推荐使用python的IDLE,交互方便1、如何新建文档fromwin32com.clientimportDispatchapp=Dispatch('Word.Application')#新建word文档doc=app.Documents.Add()按F5运行,发现什么效果都没有, 这是因为...原创 2022-05-26 17:58:07 · 14783 阅读 · 1 评论 -
这可能是最全的反爬虫及应对方案,再也不怕爬不到数据了
一、什么是反爬虫网络爬虫,是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。但是当网络爬虫被滥用后,互联网上就出现太多同质的东西,原创得不到保护。于是,很多网站开始反网络爬虫,想方设法保护自己的内容。他们根据ip访问频率,浏览网页速度,账户登录,输入验证码,flash封装,ajax混淆,js加密,图片,css混淆等五花八门的技术,来对反网络爬虫。防的一方不惜工本,迫使抓的一方在考虑成本效益后放弃,抓的一方不惜工本,防的一方在考虑用户流失后放弃. 【百度百科】原创 2022-05-26 17:55:03 · 6366 阅读 · 0 评论 -
超级实战技能,Python常用函数大总结
话不多说,干货来袭!1、常用内置函数:(不用import就可以直接使用)help(obj)在线帮助,obj可是任何类型callable(obj)查看一个obj是不是可以像函数一样调用repr(obj)得到obj的表示字符串,可以利用这个字符串eval重建该对象的一个拷贝eval_r(str)表示合法的python表达式,返回这个表达式dir(obj)查看obj的namespace中可见的namehasattr(obj,name)查看一个obj的namesp...原创 2021-12-19 16:26:19 · 158 阅读 · 0 评论 -
机器学习面试题(二)
1.什么是偏差与方差?泛化误差可以分解成偏差的平方加上方差加上噪声。偏差度量了学习算法的期望预测和真实结果的偏离程度,刻画了学习算法本身的拟合能力,方差度量了同样大小的训练集的变动所导致的学习性能的变化,刻画了数据扰动所造成的影响,噪声表达了当前任务上任何学习算法所能达到的期望泛化误差下界,刻画了问题本身的难度。偏差和方差一般称为bias和variance,一般训练程度越强,偏差越小,方差越大,泛化误差一般在中间有一个最小值,如果偏差较大,方差较小,此时一般称为欠拟合,而偏差较小,方差较大称为过拟合..原创 2021-11-30 17:17:10 · 817 阅读 · 0 评论 -
图解MySQL索引,清晰易懂,写得太好了
什么是索引?索引是辅助存储引擎高效获取数据的一种数据结构。很多人形象的说索引就是数据的目录,便于存储引擎快速的定位数据。今天主要给大家来讲索引的分类,从以下几个方面对索引进行分类~从「数据结构的角度」对索引进行分类 B+tree Hash Full-texts 索引 从「物理存储的角度」对索引进行分类 聚簇索引 二级索引(辅助索引) 从「索引字段特性角度」分类 主键索引 唯一索引 普通索引 前缀索引..原创 2021-12-24 19:22:44 · 588 阅读 · 0 评论 -
【实用工具】“爬虫”利器——八爪鱼
网络爬虫,别名“网络蜘蛛”。它又称为网页抓取和网页数据提取。基本指通过超文本传输协议(HTTP)或通过网页浏览器获取万维网上可用的数据。那么,会与不会“爬虫”对我们究竟有什么影响?举个例子,Boss下令要收集大量的资源信息。不懂“爬虫”的员工焦头烂额,在网上一条一条地收集整理可能还要加班赶工。而懂得“爬虫”的人则十多分钟就能搞定,然后慢悠悠地喝着咖啡玩手机~在大数据时代,信息数据变得非常重要。网络爬虫技术能迅速获取信息资源,极大提高人...原创 2021-12-19 16:39:28 · 11879 阅读 · 0 评论 -
Python的打包神器——Nuitka
一. pyinstaller和Nuitka使用感受1.1 使用需求这次也是由于项目需要,要将python的代码转成exe的程序,在找了许久后,发现了2个都能对python项目打包的工具——pyintaller和nuitka。这2个工具同时都能满足项目的需要: 隐藏源码。这里的pyinstaller是通过设置key来对源码进行加密的;而nuitka则是将python源码转成C++(这里得到的是二进制的pyd文件,防止了反编译),然后再编译成可执行文件。 方便移植。用户使用方便,原创 2022-01-24 21:09:55 · 5509 阅读 · 5 评论 -
3行代码轻松提取PDF表格数据,必看
从 PDF 表格中获取数据是一项痛苦的工作。不久前,一位开发者提供了一个名为 Camelot 的工具,使用三行代码就能从 PDF 文件中提取表格数据。PDF 文件是一种非常常用的文件格式,通常用于正式的电子版文件。它能够很好的将不同的排版格式固定下来,形成版面清晰且美观的展示效果。然而,对于想要从 PDF 中提取信息的人们来说,PDF 是个噩梦,尤其是表格。大量的学术报告、论文、分析文章都使用 PDF 展示其中的表格数据,但是对于如果想要直接从表格中复制数据则会非常麻烦。不久前,有一位开发者提供..原创 2021-11-22 17:43:22 · 673 阅读 · 0 评论 -
进来看冰冰,用Python写了一个青年大学习提醒系统
今天给大家分享的这个开发案例,作者是一名班级团支书,每周都要催班上同学做青年大学习。于是,他就做了一个自动提醒的脚本,后来封装成了一个APP。uniapp + flask前后端分离瞬间减少了日常的工作量,再也不怕忘记提醒了。而且看青年大学习(看冰冰lp)谁不喜欢呢?呜呜呜冰冰怎么这么好看且有气质啊!!!!呜呜呜wsl为了让大家尽快学习到青年大学习!话不多说,直接看代码吧!1、flask后端部分1.1 前情概要脚本获取数据部分戳这里:https://blog.csdn.转载 2022-01-11 09:46:34 · 6684 阅读 · 1 评论 -
如何编写完美的Python命令行程序?
作为 Python 开发者,我们经常要编写命令行程序。比如在我的数据科学项目中,我要从命令行运行脚本来训练模型,以及计算算法的准确率等。因此,更方便更易用的脚本能够很好地提高生产力,特别是在有多个开发者从事同一个项目的场合下。因此,我建议你遵循以下四条规则: 尽可能提供默认参数值 所有错误情况必须处理(例如,参数缺失,类型错误,找不到文件) 所有参数和选项必须有文档 不是立即完成的任务应当显示进度条 举个简单的例子我们把这些规则应用到一个具体的例子上。这个原创 2022-01-25 10:10:41 · 1092 阅读 · 0 评论 -
学习爬虫的看过来:用Python爬取了五千张美女图,每天一张忘记初恋(一)
1、数据源知乎话题『美女』下所有问题中回答所出现的图片2、抓取工具Python 3,并使用第三方库 Requests、lxml、AipFace,代码共 100 + 行3、必要环境 Mac / Linux / Windows (Linux 没测过,理论上可以。Windows 之前较多反应出现异常,后查是 windows 对本地文件名中的字符做了限制,已使用正则过滤) 无需登录知乎(即无需提供知乎帐号密码) 人脸检测服务需要一个百度云帐号(即百度网盘 / 贴吧帐号)原创 2022-01-03 21:10:52 · 177 阅读 · 0 评论 -
Python办公自动化之常用函数与案例
如果说TRIM、CLEAN、RIGHT、LEFT和MID函数是文本的变形专家(只能对数据进行外观上的改变),那么TEXT函数则称得上不折不扣的化妆大师、美颜专家。它可以根据数据的特点,按照我们预设的格式,改造字符串的样式,比如:日期转成星期、数字添加千分位、位数不同的编号统一成相同的编号、数字自动添加备注……Text函数的基本语法TEXT 函数将数值转换为按指定数字格式表示的文本。它可通过格式代码向数字应用格式,进而更改数字的显示方式。TEXT(value,转换后的格式)参数:va原创 2021-11-09 16:57:32 · 497 阅读 · 0 评论 -
SQL 优化不会?推荐 4 款工具
对于正在运行的mysql性能如何?参数设置的是否合理?账号设置的是否存在安全隐患?俗话说工欲善其事,必先利其器,定期对你的MYSQL数据库进行一个体检,是保证数据库安全运行的重要手段。今天和大家分享几个mysql 优化的工具,你可以使用它们对你的mysql进行一个体检,生成awr报告,让你从整体上把握你的数据库的性能情况。1、mysqltuner.pl这是mysql一个常用的数据库性能诊断工具,主要检查参数设置的合理性包括日志文件、存储引擎、安全建议及性能分析。针对潜在的问题,给...原创 2021-11-17 17:44:46 · 467 阅读 · 0 评论 -
大学成绩垫底的好兄弟,转眼成了Java架构师
我在大学是学习经济管理专业,可以说和计算机是毫无关系。学习编程完全是出于一个偶然的机会,如果不是那一次相遇,可能我现在还站在快餐店门口抢单吧~大学四年,我成了“神枪手”我的性格属于比较听话的那种,小学、初中和高中,都在我家附近,所以我很难在放学或者周末的时候,有比较自由的时间,比如,偷偷去网吧玩游戏。压抑的久了,一旦有了释放的机会,便会肆意放纵,我就是一个例子。上大学后,因为脱离了父母的管束,我彻底的放飞了。每天除了上课,其他的时间就是泡在网吧或者是图书馆的电子信息室。而且,我不是一原创 2022-01-27 13:00:37 · 1842 阅读 · 0 评论 -
一个典型的Python报表自动化实战案例
一个典型的Python报表自动化实战案例本篇文章将带你了解报表自动化的流程,并教你用Python实现工作中的一个报表自动化实战,篇幅较长,建议先收藏,文章具体的目录为:1.Excel的基本组成2.一份报表自动化的流程3.报表自动化实战 -当日各项指标同环比情况 - 当日各省份创建订单量情况 - 最近一段时间创建订单量趋势4.将不同的结果进行合并 -将不同结果合并到同一个Sheet中 - 将不同结果合并到同一个工作簿的不同Sheet中Excel...原创 2021-11-05 15:38:50 · 208 阅读 · 0 评论 -
这 8 个 Python 技巧让你的数据分析提升数倍
不管是参加Kaggle比赛,还是开发一个深度学习应用,第一步总是数据分析,这篇文章介绍了8个使用Python进行数据分析的方法,不仅能够提升运行效率,还能够使代码更加“优美”。一行代码定义List定义某种列表时,写For 循环过于麻烦,幸运的是,Python有一种内置的方法可以在一行代码中解决这个问题。下面是使用For循环创建列表和用一行代码创建列表的对比。x=[1,2,3,4]out=[]foriteminx:out.append(item**2)pri...原创 2022-01-07 16:48:15 · 134 阅读 · 0 评论 -
经典700集Python教程完全入门学完达到Python工程师水平
经典700集Python教程_完全入门_学完达到Python工程师水平经典700集Python教程_完全入门_学完达到Python工程师水平免费教程视频、源码笔记加微信领取哈(加时备注csdn)原创 2021-11-04 16:41:54 · 238 阅读 · 0 评论 -
Pycharm 常用快捷键大全(下)
接上篇19. 替换/全局替换【Ctrl+R / Ctrl + Shift+R】当前文件的替换可以按下【Ctrl+R 】并在第一栏输入要替换的关键字就会高亮包含关键字的代码,第二栏输入要替换为的关键字,在按下【replace】或【replace All】(替换全部)效果下图红框中的【exclude】点击的话,会排除选中的该代码,只替换其他代码效果全局替换的话按下【Ctrl + Shift+R】即可!20. 快速跳转报错的代码【F2】当出现代码报错的时候,可以原创 2021-11-17 18:06:43 · 975 阅读 · 1 评论 -
18个Python高效编程技巧,收藏
初识Python语言,觉得Python满足了我上学时候对编程语言的所有要求。Python语言的高效编程技巧让我们这些大学曾经苦逼学了四年c或者c++的人,兴奋的不行不行的,终于解脱了。高级语言,如果做不到这样,还扯啥高级呢?01 交换变量>>>a=3>>>b=6这个情况如果要交换变量在c++中,肯定需要一个空变量。但是Python不需要,只需一行,大家看清楚了>>>a,b=b,a>>>print(a)...原创 2021-12-08 21:17:03 · 152 阅读 · 0 评论 -
50行Python代码爬取黑丝美眉高清图
一、技术路线requests:网页请求BeautifulSoup:解析html网页re:正则表达式,提取html网页信息os:保存文件importreimportrequestsimportosfrombs4importBeautifulSoup二、获取网页信息获取网页信息的固定格式,返回的字符串格式的网页内容,其中headers参数可模拟人为的操作,‘欺骗’网站不被发现defgetHtml(url):#固定格式,获取html内容head...原创 2022-01-14 13:44:42 · 279 阅读 · 0 评论 -
必看Python爬虫Selenium库详细教程
在我们爬取网页过程中,经常发现我们想要获得的数据并不能简单的通过解析HTML代码获取,这些数据是通过AJAX异步加载方式或经过JS渲染后才呈现在页面上显示出来。selenuim是一种自动化测试工具,它支持多种浏览器。而在爬虫中,我们可以使用它来模拟浏览器浏览页面,进而解决JavaScript渲染的问题。1、使用示例2、详细介绍2.1 声明浏览器对象即告诉程序,应该使用哪个浏览器进行操作2.2 访问页面2.3 查找元素成功访问网页后,我们可能需要进行一些操作,...原创 2021-12-19 16:28:44 · 348 阅读 · 0 评论 -
可视化打包exe,这个神器绝了
大家好,今天给大家推荐一个可视化神器,它就是Auto-py-to-exe,它是一个用于将Python程序打包成可执行文件的图形化工具。Auto-py-to-exe基于Pyinstaller ,相比于Pyinstaller ,它多了GUI界面,用起来更为简单方便。这篇文章就是主要介绍如何使用Auto-py-to-exe完成Python程序打包。安装Auto-py-to-exe首先我们要确保我们的Python环境要大于或等于2.7然后在cmd里面输入:pip install auto-py-原创 2022-01-05 17:13:06 · 8759 阅读 · 8 评论 -
一个python爬虫案例,带你掌握xpath数据解析方法
文章目录xpath基本概念xpath解析原理环境安装如何实例化一个etree对象:xpath(‘xpath表达式’)xpath爬取58二手房实例爬取网址完整代码效果图xpath图片解析下载实例爬取网址完整代码效果图xpath爬取全国城市名称实例爬取网址完整代码效果图xpath爬取简历模板实例爬取网址完整代码效果图xpath基本概念xpath解析:最常用且最便捷高效的一种解析方式。通用性强。xpath解析原理1)实例化一个etree的对象,且需要原创 2022-01-05 17:41:12 · 968 阅读 · 0 评论