Python
jack_ricky
这个作者很懒,什么都没留下…
展开
-
Python 读取文件的几种方法
0. 读取文件# 1f = open('fileName', 'r')# do something with ff.close()# 2with open('fileName', 'r') as f: # do something with f # no need to close, and will close automatically if exceptio...原创 2019-11-07 17:10:24 · 356 阅读 · 0 评论 -
Python 常用(聚类/分类)数据预处理方法
要对数据进行聚类/分类,往往需要经过以下几个步骤:处理缺失值(我比较少遇到)--》数据标准化 --》降维(白化) --》训练 --》预测 --》评价模型效果0. 缺失值的处理一般是填充缺省值或者平均值等方法,我一般直接补01. 对数据进行标准化。常用的方法有z-score和maxmin。其中,z-socre是(x-mean)/std,也就是去中心化。注意:标准化方法(以及降维)只能在训...原创 2019-12-12 10:09:00 · 6267 阅读 · 2 评论 -
Python 内存回收
import gcdel datagc.collect()原创 2019-08-21 15:40:35 · 238 阅读 · 0 评论 -
Linux没有root权限时,pip安装Python模块
首先在https://pypi.org/上获得所需模块的.whl文件。然后:pip install ***.whl原创 2019-07-23 10:40:36 · 934 阅读 · 0 评论 -
linux环境下 python import找不到自定义的模块
两种方法:1. 在导入模块之前(每个.py文件都需要加)import syssys.path.append(r'/home/my_python_module/')2. 更改环境变量(一次修改永久生效)管理员权限修改:/etc/profile。在最后一行加上:export PYTHONPATH=$PYTHONPATH:/home/my_python_module/然后运...原创 2019-06-24 09:32:35 · 7848 阅读 · 0 评论 -
Python 正则表达式使用
import reregex = re.compile(r'(uid|sid)=(.+?)&') # what in '' is the reg exp we want.f = open("log.txt", "r")logs = f.readlines()for log in logs: kvs = regex.findall(log) for kv in...原创 2019-03-06 10:56:01 · 99 阅读 · 0 评论 -
Python/Bash 遍历文件夹
import osinfiles = list() # the absolute path we wantindir = './root_data/'for root, dirs, files in os.walk(indir): for filename in files: infiles.append(os.path.join(root, filenam...原创 2019-03-06 10:42:59 · 198 阅读 · 0 评论 -
Python matplotlib 以pdf形式保存图片
import matplotlib.pyplot as plt from matplotlib.backends.backend_pdf import PdfPagespdf = PdfPages('des_file_name.pdf')plt.figure()plt.hist(data)plt.tight_layout()print 'savefig...'pdf.save...原创 2019-03-02 11:04:21 · 30285 阅读 · 3 评论 -
Python 多进程
Python的多线程是假的,但是多进程是真的。在处理计算需求比较大的问题时可以考虑使用多进程:#coding=utf-8import copyimport numpy as npimport multiprocessing import z_facility as facfrom multiprocessing import Pool# 输入处理的一个单元,比如list的一个元...原创 2019-03-02 10:59:49 · 181 阅读 · 0 评论 -
python 带条纹的 barplot 和 boxplot
plt.boxplot(..., patch_artist=True, boxprops=dict(facecolor="green", hatch = '/'))plt.bar(..., hatch='\\')原创 2019-02-19 21:03:28 · 2135 阅读 · 0 评论 -
Python画loglog CCDF
data.sort()p = 1. * arange(len(data)) / (len(data)-1) # 计算各点的累计概率 F(x)p = [1-i for i in p] # 计算概率的补 1-F(x)x = np.log10(data) # logxy = np.log10(p) ...原创 2018-08-19 15:50:00 · 5487 阅读 · 0 评论 -
python画双y轴图像
很多时候可能需要在一个图中画出多条函数图像,但是可能y轴的物理含义不一样,或是数值范围相差较大,此时就需要双y轴。matplotlib和seaborn都可以画双y轴图像。一个例子:import seaborn as snsimport matplotlib.pyplot as plt# ax1 for KDE, ax2 for CDFf, ax1 = plt.subplots(...原创 2018-08-22 10:26:09 · 13388 阅读 · 3 评论 -
Python过滤list元素,并进行元素操作
用法:new_list=[ {1. 列表的元素&操作} {2. for i in old_list} {3. if i 满足条件} ]由三个部分组成。例子:[n for n in mylist if n < 0] # 小于0的元素[math.sqrt(n) for n in mylist if n > 0] # 大于零的元素的平方根[n+1 for ...原创 2018-08-16 15:32:09 · 5164 阅读 · 0 评论 -
当同时安装Python2和Python3后,如何兼容并切换使用详解(比如pip使用)
在cmd下输入python得到的版本号取决于环境变量里哪个版本的python路径更靠前(windows是按照顺序查找的)。比如环境变量里的顺序是这样的:那么cmd下的python版本就是2.7.12。反之,则是python3的版本号。 这就带来一个问题了,如果你想用python2运行一个脚本,一会你又想用python3运行另一个脚本,你怎么做?来回改环境变量显然很麻烦。网上...转载 2018-07-20 16:56:08 · 1137 阅读 · 0 评论 -
利用python画(带权重)直方图/拟合曲线/CDF
在pyhton中画这几种图主要是用的 matplotlib.pyplot 的 hist() 以及 seaborn 的distplot() kdeplot() note: seaborn的函数可以接受hist_kws, kde_kws关键字。hist_kws={'weights': your weights array}kde_kws={'weights': your weights array}但...原创 2018-03-16 20:21:53 · 10179 阅读 · 2 评论