【Python】
文章平均质量分 66
Python
九层之台起于累土
九层之台,起于累土;千里之行,始于足下!
展开
-
【Python】Pandas处理数据太慢,来试试Polars吧!
从创建数据到读取各种格式的文件(text、csv、json),或者对数据进行切片和分割组合多个数据源,Pandas都能够很好的满足。如果你的数据集对于Pandas来说太大,对于Spark来说太小,那么Polars便是你可以考虑的一个选择。当然,Pandas目前历时12年,已经形成了很成熟的生态,支持很多其它的数据分析库。当然Pandas也是有不足之处的,比如不具备多处理器,处理较大的数据集速度很慢。安装成功后,开始测试,比较Pandas和Polars处理数据的情况。...原创 2022-08-05 09:48:10 · 359 阅读 · 0 评论 -
【Python网络爬虫】爬虫常见加密解密算法
](https://img2020.cnblogs.com/blog/2501174/202108/2501174-20210816091906408-1932195692.png)本文总结了在爬虫中常见的各种加密算法、编码算法的原理、在 JavaScript 中和 Python 中的基本实现方法,遇到 JS 加密的时候可以快速还原加密过程,有的网站在加密的过程中可能还经过了其他处理,但是大致的方法是一样的。常见加密算法:常见编码算法:Base64Crypto-JS 支持 MD5、SHA、RIPEMD-16转载 2022-06-30 07:44:02 · 2086 阅读 · 0 评论 -
【Python】centos自带python2无法使用pip命令问题解决方法
Centos7默认已经安装了python2.7,但是没有预装pip命令,所以还需要自己装pip命令,方便安装python用到的各种包。一、首先检查有没有安装python-pip,可直接执行命令 yum install python-pip如果提示如下:No package python-pip available.Error: Nothing to do或者 提示: Cannot find a valid baseurl for repo: base/7/x86_64说明没找到安装包,需要二、执行原创 2022-06-30 07:45:12 · 565 阅读 · 0 评论 -
【Python】Python中的闭包、global关键字、nonlocal关键字和装饰器
闭包:在一个外函数中定义了一个内函数,内函数里运用了外函数的临时变量,并且外函数的返回值是内函数的引用,这样就构成了一个闭包。外函数把临时变量绑定给内函数: 按照我们正常的认知,一个函数结束的时候,会把自己的临时变量都释放还给内存,之后变量都不存在了。一般情况下,确实是这样的。但是闭包是一个特别的情况。外部函数发现,自己的临时变量会在将来的内部函数中用到,自己在结束的时候,返回内函数的同时,会把外函数的临时变量送给内函数绑定在一起。所以外函数已经结束了,调用内函数的时候仍然能够使用外函数的临时变量。 在我原创 2022-06-30 07:44:23 · 72 阅读 · 0 评论 -
【Python爬虫】之获取请求头信息以及cookies信息.
工作中与项目中需要取抓取一些股票的实时信息等,有两种取到可以获取到一些需要的数据,一种是花钱买一些接口服务,还有就是爬虫取网站爬取。本人略了解tcp/ip与http以及https协议,后两者作为建立在tcp/ip之上的应用层,在爬虫中最麻烦的可能就是cookies的获取,通过cookies信息,对方服务器就可以判断你是机器行为还是可能是人,简单的网站,可以直接从响应头获取到cookies,但如果是通过js设置的cookies或者其它取到设置的,那就很难获取到。如果cookies就算拿到了,最近在工作中还碰到转载 2022-06-30 07:43:37 · 1118 阅读 · 1 评论 -
【Python】Python 2 和 Python 3 操作 MySQL 数据库实现创建表、删除表、增删改查操作
1、MySQL数据库和表的编码格式(1)创建数据库并指定字符集(2)查看数据库的编码格式(3)创建表并指定字符集(4)查看数据表的编码格式(5)修改数据库的编码格式(6)修改数据表的编码格式(7)修改字段的编码格式(8)添加表外键(9)删除表外键(10)删除数据库2、PyCharm默认编码格式设置3、Python 2 操作 MySQL 数据库输出:数据库版本:(‘5.7.35’,)Python 2.7 只能连接 MySQL 5.x 版本。本机 MySQL 5.7.35 和 MyS原创 2022-06-30 07:44:14 · 257 阅读 · 0 评论 -
【Python】cenots Python2 安装PyMySQL
cenots Python2 安装PyMySQL需要三步走1、下载pymysql包wget https://files.pythonhosted.org/packages/44/39/6bcb83cae0095a31b6be4511707fdf2009d3e29903a55a0494d3a9a2fac0/PyMySQL-0.8.1.tar.gz2、解压tar -zxvf PyMySQL-0.8.1.tar.gz3、安装进入PyMySQL-0.8.1目录,执行:python setup.py install原创 2022-06-30 07:44:44 · 318 阅读 · 0 评论