![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
photographyCat
这个作者很懒,什么都没留下…
展开
-
训练集和测试集标准化的统一性
标准化原创 2022-09-29 15:04:06 · 311 阅读 · 0 评论 -
字典条件删除
我有一本字典,其中键是字符串,值是字符串列表。下面是我正在使用的一个大得多的字典的示例。我遇到的一个问题是,键有时出现在值中(即,键“25-3”包含“25-3”,我想删除它)cat_map = {'11-1': ['41-4', '43-1', '11-2', '43-6'], '11-2': ['41-4', '43-1', '11-2', '43-6'], '11-3': [], '11-9': [], '13-1': [], '13-2': [], '15-1': [], '15-2'原创 2022-01-18 10:52:53 · 237 阅读 · 0 评论 -
python编码类型互转总结
只有在unicode下才能将utf-8与gbk互转unicode是在内存中使用,bytes是文件存储和网络传输时使用py3和py2对比py3时:a=“中国” 和a=u"中国" 是一个意思,都表示str类型unicode存储类型,即默认是unicode存储类型c=b"中国" 表示str类型bytes存储类型py2时:a=“中国” 和a=b"中国" 是一个意思,表示str类型bytes存储类型,即默认是bytes存储类型a=u"中国" 表示str类型unicode存储类型转换..原创 2021-12-01 18:49:52 · 715 阅读 · 0 评论 -
多进程写入数据问题
#Pool方法from multiprocessing import Process, Queue, Poolimport os, time, randomimport pandas as pddef write(q): fict = {'name': '213', 'age': 2, 'gender': '213'} return ficdef mycallback(res): #callback函数里,拿到全局变量才行 global data dat原创 2021-09-16 16:37:21 · 160 阅读 · 0 评论 -
百度信用爬取的一点总结
详细过程模型主要分为3个步骤:1、IP池的定期维护2、企业信用代码爬取转换为接口唯一ID标识(不需要定时执行,一次即可)3、根据接口ID爬取具体数据(定期爬取)1 代理池文件:proxyPool.py该代码为Github上的开源代码,定时爬取以下几个网址的免费代理IP,并放入Redis库,之所以用Redis是因为IP池里的IP需要频繁读写和维护,Redis作为NOSQL数据库,响应速度较快,且可移植性较高2 过程中遇到的问题总结第一版代码并未加入多进程,爬取速度较慢,但加入多进程之后带原创 2020-08-18 14:45:41 · 219 阅读 · 0 评论 -
Python值传递引用传递和深浅拷贝总结
知识点首先,我们需要知道,Python中的变量类型是分为可变类型和不可变类型可变类型:列表、字典、集合不可变类型:数字、字符串、元组碰到不可变类型,会在函数内部新开辟一个内存存放变量,修改的结果不会影响函数外面。如果要修改外部变量,则需要return或者使用globaldef func(a): print('--func----') a = a + 1 print(id(a))a = 10print(id(a))drawPic(a)print(a)输出:15原创 2020-06-18 17:46:39 · 355 阅读 · 0 评论 -
pyecharts更新版本之后的问题
大概很久没用过pyecharts,按照以前的方法写程序时,总是报错,后来发现是新版本的语法不一样了from pyecharts import Scatter,Line,Page比如这个会报错,Line无法导入还有添加数据,保存图片的方法都和以前不一样了解决方法一,换回以前版本:输入命令:pip install wheel然后在输入:pip install pyecharts==0...原创 2020-03-09 18:20:39 · 2187 阅读 · 0 评论 -
fbprophet安装步骤(centOS)
史上最难装的库。。。最后成解决办法是,在anaconda建立一个新的环境,这样比较好安装1、首先在所在系统中安装Anaconda。可以打开命令行输入conda -V检验是否安装以及当前conda的版本。2、conda常用的命令。 1)conda list 查看安装了哪些包。 2)conda env list 或 conda info -e 查看当前存在哪些虚拟环境 ...原创 2020-03-05 20:28:23 · 2855 阅读 · 1 评论 -
Python多进程中的文件写入问题
因项目数据量庞大需要使用多进程的方法计算数据(计算密集型)在写完代码之后,发现如果按照如下写法,则并不会并发执行,而是执行完一个接着执行第二个 print('Parent process %s.' % os.getpid()) p = Pool(5) for i in range(0, len(dataB), int(len(dataB) / 5)): d...原创 2020-02-11 19:08:23 · 3409 阅读 · 1 评论 -
关于Python值传递和引用传递的坑
在编写熵值法代码的时候,发现代码算出的结果和EXCEL手动计算的结果存在细微差异,排查了很久,终于发现问题def Entropy (data): df3 = data df4 = data for index, row in data.iteritems(): indexSum = data[index].sum() for i in r...原创 2020-01-14 15:35:35 · 542 阅读 · 0 评论 -
推荐中相似度计算问题(选择与总结)
《Dataminingguide》书阅读,第二章 推荐系统入门1、 曼哈顿距离最简单的距离计算方式。在二维计算模型中,每个人都可以用(X,Y)的点来表示。例如(X1,Y1)来表示艾米,(X2,Y2)来表示另一位人,那么他们之间的曼哈顿距离就是:|X1-X2|+|Y1-Y2|也就是x之差的绝对值加上y之差的绝对值。曼哈顿距离的优点之一就是计算速度快,对于Facebook这样需要计算百万用户...原创 2019-12-20 09:30:28 · 993 阅读 · 0 评论 -
SVD(奇异值分解)
1、特征值分解(EVD)实对称矩阵在理角奇异值分解之前,需要先回顾一下特征值分解,如果矩阵A是一个m×m的实对称矩阵(即A=AT),那么它可以被分解成如下的形式其中Q为标准正交阵,即有QQT=I,Σ为对角矩阵,且上面的矩阵的维度均为m×m。λi 称为特征值,qi 是Q(特征矩阵)中的列向量,称为特征向量。注:I在这里表示单位阵,有时候也用E表示单位阵。式(1-1)的具体求解过程就...原创 2019-12-11 20:38:25 · 222 阅读 · 0 评论 -
特征值和特征向量的作用
本文转自知乎大牛。从定义出发,Ax=cx:A为矩阵,c为特征值,x为特征向量。矩阵A乘以x表示,对向量x进行一次转换(旋转或拉伸)(是一种线性转换),而该转换的效果为常数c乘以向量x(即只进行拉伸)。我们通常求特征值和特征向量即为求出该矩阵能使哪些向量(当然是特征向量)只发生拉伸,使其发生拉伸的程度如何(特征值大小)。这样做的意义在于,看清一个矩阵在那些方面能产生最大的效果(power),并...转载 2019-12-11 20:06:20 · 1620 阅读 · 0 评论 -
熵值法的Python实现
一、基本原理在信息论中,熵是对不确定性的一种度量。信息量越大,不确定性就越小,熵也就越小;信息量越小,不确定性越大,熵也越大。根据熵的特性,可以通过计算熵值来判断一个事件的随机性及无序程度,也可以用熵值来判断某个指标的离散程度,指标的离散程度越大,该指标对综合评价的影响(权重)越大,其熵值越小。二、熵值法步骤选取n个国家,m个指标,则为第i个国家的第j个指标的数值(i=1, 2…,...原创 2019-12-06 17:02:30 · 3731 阅读 · 0 评论 -
Linux安装python环境&批量安装依赖包
1.下载PythonLinux 版的 Python 通常以源码编译的方式安装,到 Python 官网下载 Python3。Python3 官网下载地址: https://www.python.org/downloads/source/如下图:获取到下载链接后,直接使用 curl 命令下载即可:sudo curl -O https://www.python.org/ftp/python...原创 2019-08-13 09:25:31 · 6983 阅读 · 0 评论 -
Python垃圾回收机制(GC)
以引用计数为主,以隔代回收为辅Python中的循环数据结构以及引用计数我们知道在Python中,每个对象都保存了一个称为引用计数的整数值,来追踪到底有多少引用指向了这个对象。无论何时,如果我们程序中的一个变量或其他对象引用了目标对象,Python将会增加这个计数值,而当程序停止使用这个对象,则Python会减少这个计数值。一旦计数值被减到零,Python将会释放这个对象以及回收相关内存空间...原创 2019-06-14 13:18:51 · 1128 阅读 · 0 评论