python
MaloFleur
这个作者很懒,什么都没留下…
展开
-
pandas小记(一)——date_range、Series、timestamp
pandas详解可参考:http://pandas.pydata.org/pandas-docs/stable/10min.html 对应的中文译文:http://www.cnblogs.com/chaosimple/p/4153083.html 在这里对我近期用到的几个函数做一些记录与解析,若有使用不当之处望大家指出 date_range 这个函数的作用是创建一个时间序列的索引,其原型为:原创 2017-03-08 16:11:05 · 921 阅读 · 0 评论 -
彻底理解 Python 生成器
本文转载自:彻底理解 Python 生成器1. 生成器定义在Python中,一边循环一边计算的机制,称为生成器:generator。2. 为什么要有生成器列表所有数据都在内存中,如果有海量数据的话将会非常耗内存。如:仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了。如果列表元素按照某种算法推算出来,那我们就可以在循环的过程中不断推算出后续的元素,这样就不必创建完整的l...转载 2019-08-02 21:56:55 · 185 阅读 · 0 评论 -
Pytorch多机多卡训练
本文转载自知乎:Pytorch多机多卡训练 - 谜一样的男子的文章 - 知乎关于Pytorch分布训练的话,大家一开始接触的往往是DataParallel,这个wrapper能够很方便的使用多张卡,而且将进程控制在一个。唯一的问题就在于,DataParallel只能满足一台机器上gpu的通信,而一台机器一般只能装8张卡,对于一些大任务,8张卡就很吃力了,这个时候我们就需要面对多机多卡分布式训练这...转载 2019-06-20 21:17:53 · 14772 阅读 · 4 评论 -
pytorch源码解读——RNN/LSTM篇
文章的字母中:b: batch_sizet: time_stepn: num_featureh: hidden_size假设输入数据维度input = (b, t, n)所设计的LSTM模型如下:class MYLSTM(nn.Module): def __init__(self, input_size, hidden_size, out_size): s...原创 2019-06-05 22:10:41 · 9374 阅读 · 7 评论 -
标准化互信息的python实现(sklearn)
标准化互信息(normalized Mutual Information, NMI)用于度量聚类结果的相似程度,是community detection的重要指标之一,其取值范围在[0 1]之间,值越大表示聚类结果越相近,且对于[1, 1, 1, 2] 和 [2, 2, 2, 1]的结果判断为相同其论文可参见Effect of size heterogeneity on community id...原创 2019-05-27 20:06:13 · 21103 阅读 · 4 评论 -
pytorch 使用visdom进行可视化
相比tensorbordX, visdom刷新更快,界面体验也良好,首先是visdom的安装,与普通的python库一样,直接pip install visdom即可成功安装后,在控制台下输入python -m visdom.server复制http://localhost:8097,输入浏览器即可打开visdom可视化窗口调用visdom主要需要如下语句:from visdom imp...原创 2019-05-07 19:54:14 · 950 阅读 · 0 评论 -
python一脚一个坑——venv的使用
当使用pycharm创建工程的时候,会默认创建一个venv的文件夹,且默认interpret也是该目录,而不是系统环境以前不知道这个是用来干什么的,后来搜索了一下了解到这是一个虚拟环境也就是说比如有个工程A,用到了某些特殊的包,即除了该工程,别的工程大概率是用不到的,这种情况,我们就没有必要单独将其添加到系统package中,可以将其安装在virtual environment(venv)中...原创 2019-04-11 19:58:57 · 56192 阅读 · 3 评论 -
python小记——保存常用格式的文件
本文介绍使用python3.6 保存各种格式的文件txt with open('filename.txt', 'w') as fw: for i in range(len(dataArray)): fw.write(str(dataArray[i])) fw.write('\n') ...原创 2019-03-15 15:00:21 · 2318 阅读 · 0 评论 -
python一脚一个坑——list赋值的几种方法
先来看一组代码:import copydef f1(aa): aa.append(1) aa[1][0] = -1 a = [1, [100]]b = []b.append(a)c = copy.copy(a)d = copy.deepcopy(a)f1(a)print('a:{}\n b:{}\n c:{}\n d:{}'.format(a, b, c...原创 2018-11-27 16:46:07 · 14711 阅读 · 0 评论 -
pycharm 2018.2.4激活(至2100年,无需修改host)
通过如下链接下载jar文件链接: https://pan.baidu.com/s/10vFzMyv5CYkCILASNZvhrA 提取码: mf3n将该文件置于安装目录的bin文件夹内,如图:修改上图中红框的两个文件(我用notepad++打开),在文件最后追加如下信息:-javaagent:D:\Programming\Compiler\Python\pycharm\PyCharm...原创 2018-11-13 22:40:16 · 12200 阅读 · 2 评论 -
pandas小记(三)——KeyError: 'the label [c3] is not in the [index]'
今天在使用pandas时,使用了类似如下的代码片段:import matplotlib.pyplot as pltimport numpy as npimport pandas as pdimport datetimefrom matplotlib.ticker import FuncFormatterl = [[1, '1', 'c dd', 2], [11, '11', 'cc ...原创 2018-11-11 22:35:04 · 19651 阅读 · 0 评论 -
机器学习之聚类(利用python的sklearn实现)
sklearn是Python重要的机器学习库,是scikit-learn的简称,支持包括分类、回归、降维和聚类四大机器学习算法。本文以Kmeans与DBSCAN为例,介绍其聚类函数的用法。 sklearn中聚类的具体用法,可在sklearn之cluster 中查看,实现了包括KMeans、DBSCAN在内的如下九种聚类:KMeans函数构造如下:cl...原创 2018-10-30 13:59:00 · 10629 阅读 · 0 评论 -
使用pip或Jupyter notebook时报错Fatal error in launcher: Unable to create process using
今天在使用Jupyter读取ipynb时报错Fatal error in launcher: Unable to create process using "e:\xxxx\python.exe" "e:\xxxx\jupyter.exe"然后想起来前阵子自己重装了电脑,可能是原先的包失效了,于是想重新pip install一下,结果连pip命令也报了上述错误,网上搜了一下,pip的错误可以通过...原创 2018-10-23 22:31:45 · 3865 阅读 · 0 评论 -
pytorch使用出现"RuntimeError: An attempt has been made to start a new process before the..." 解决方法
今天在运行Pytorch手写数字识别代码时,出现了如下错误:其实挺奇怪的… 因为这段代码是前几天刚写完跑成功的,今天再跑就出问题了至于解决方法也很简单,出错提到了是多线程的缘故,那么就有如下两种:去掉num_workers参数# train_loader = Data.DataLoader(dataset=train_data, batch_size=BATCH_SIZE, shuf...原创 2018-09-18 10:18:41 · 33206 阅读 · 21 评论 -
matplotlib小记(一)——等比例缩放x轴y轴
在日常使用python绘图的过程中,经常会遇到需要按比例缩放x、y轴的情况。 比如我当前的数据是按照每15分钟一个点来采集与统计的,因此一天之内会有96个数据点,横坐标也是按照1~96来区分,那么为了更好的体现某一时刻的数据,希望横坐标以小时为单位,即原坐标为4的,即为1点,为8的为2点。 为了模拟这种情形,我可以先按照下面的代码,随机出如下的图像:import matplotlib.py...原创 2018-08-31 23:15:47 · 33066 阅读 · 1 评论 -
pandas小记(二)——DataFrame
说起pandas,立马就会想到DataFrame,这个数据结构在操作一些如csv等文件时很方便,在处理xls文件时,我也习惯于将其转化为DataFrame来操作(如果有别的更方便的方法,也希望赐教啦~),在理解时,也可以将其理解为如excel中,由行、列组成的表格DataFrame的创建DataFrame可以通过如下方式创建: pandas.DataFrame( data, index,...原创 2018-08-27 22:28:21 · 285 阅读 · 0 评论 -
intellij idea 出现Push rejected的解决方法
最近做一个项目,用了码云的代码仓库,前两天一直通过intellij idea端的git->add->commit->push进行push,然而今天一早再次使用这个进行版本控制时,却出现了如下提示:Push rejected: Push to xxx/master was rejected在网上查了说按Alt+F12,调出intellij 的terminal,然后依次输...原创 2018-08-16 14:11:16 · 80093 阅读 · 2 评论 -
matplot绘图,设置字体与去除保存图片时周边空白
#coding:utf-8import matplotlib.pyplot as plt# 前者使中文设置成宋体,后者将中文外的字体设置成 Palatino Linotypeplt.rcParams['font.sans-serif'] = 'NSimSun, Palatino Linotype' # your codesaveaddr = '1.png'# bbox表示boundin...原创 2019-08-06 20:33:55 · 1637 阅读 · 0 评论