Python
冰糖不在家
这个作者很懒,什么都没留下…
展开
-
【冰糖Python】scikit-learn中的random_state参数
在使用svm.SVC时,想要获得测试数据上的预测概率计算AUC,必须指定random_state,否则结果可能不一致,而此现象在其他语言中没有见过,因此稳妥的方式是在所有允许指定random_state的情况下都要额外注意。然而需要注意的是,在多个不同的随机种子中结果是否稳定。但,sklearn中提到,random_state的存在并不意味着总是使用随机化,因为它可能取决于正在设置的另一个参数,例如shuffle。未指定random_state时,将使用numpy.random中的全局随机状态实例。原创 2023-05-14 10:33:44 · 2121 阅读 · 1 评论 -
Tensorflow: Allocation of XXXXXX exceeds 10% of system memory 可能的原因
意思是方法分配的空间的大小超过了系统内存的10%原创 2022-12-05 20:36:19 · 5690 阅读 · 1 评论 -
【冰糖Python】Python 中的 assert 语句
assert 判断一个表达式的真假,在表达式条件为 false 的时候触发异常,返回错误原创 2022-11-30 10:02:51 · 233 阅读 · 0 评论 -
【冰糖Python】TensorFlow 占位符 placeholder
TF的Feeding机制允许在计算图中进行运算时向张量注入数据,占位符Placeholder是进行的Feed的目标,不包含数据。原创 2022-11-24 11:17:38 · 1379 阅读 · 0 评论 -
【冰糖Python】库与环境管理工具 Conda
Conda 是一个开源的面向 Python 的软件包(库)和环境管理系统原创 2022-11-21 16:40:38 · 3120 阅读 · 0 评论 -
【冰糖Python】库管理工具 pip
pip 是 python 的一个通过包管理工具,可进行包的查找、安装、卸载等操作原创 2022-11-21 11:03:45 · 879 阅读 · 0 评论 -
【冰糖Python】could not convert string to float: ‘‘
Error: could not convert string to float: ''原创 2022-10-02 10:29:13 · 13421 阅读 · 0 评论 -
【冰糖Python】使用virtualenv建立虚拟环境
通常,可使用两种方法建立python虚拟环境原创 2022-09-30 16:00:17 · 635 阅读 · 0 评论 -
【冰糖Python】深度森林 DeepForest
此文为记录DeepForest的简单使用原文《Deep Forest: Towards an Alternative to Deep Neural Networks》原创 2022-09-30 10:32:12 · 1060 阅读 · 0 评论 -
【冰糖Python】python并行化-multiprocessing,joblib,numba
此处尝试multiprocessing,joblib,numba对实行for并行的作用原创 2022-09-29 20:11:30 · 724 阅读 · 0 评论 -
【冰糖Python】__name__ 和 __file__
__name__ 和 __file__的使用问题原创 2022-09-29 17:52:48 · 394 阅读 · 0 评论 -
【冰糖Python】numpy 变量引用、拷贝
python中不可避免需要赋值操作原创 2022-09-26 13:41:40 · 396 阅读 · 0 评论 -
【冰糖Python】字符串拆分split,拼接join
字符串拆分split,拼接join原创 2022-09-26 10:27:47 · 691 阅读 · 0 评论 -
【冰糖Python】Python 运行速度优化技巧汇总
1、设计循环结构时,消除循环内部与循环无关的计算3、局部变量查询较快,尽量使用局部变量。4、列表解析其他优化手段:1、连接多个字符串时,使用join()而不使用+(因为+会产生新的字符串对象)2、列表进行元素插入和删除,尽量在列表尾部操作combinations()zip()并行计算1、使用生成器,因为可以节约大量内存2、循环代码优化,避免过...原创 2022-09-26 10:15:19 · 361 阅读 · 0 评论 -
【冰糖Python】RuntimeWarning: invalid value encountered in true_divide
使用 numpy 计算时出现RuntimeWarning: invalid value encountered in true_divide原因:除法中除数为0分析:当出现 0 / 0 时,出现此提示,结果得到 nan;当出现 1 / 0 时,出现此提示,结果得到 inf解决方法:计算中应加入判断,尽力避免出现除数为 0 的情况。...原创 2021-10-18 17:09:06 · 2178 阅读 · 0 评论 -
Batch Normalization 使用位置讨论
Batch Normalization 技术出现在各种模型中关于 Batch Normalization 层在模型中的位置,有人说放在激活函数前结果好,有人说放在激活函数后比较好最合适的确定方式就是在实验过程中进行确定(这同样也是令人无奈的结论)通过以下实验进行一个简单讨论:模型:一个4层的神经网络(num_features -> 128 -> 64 -> 32 -> 2),激活函数 LeakyReLU,损失函数交叉熵,需要讨论的 BatchNorm1d 的应用:原创 2021-04-06 21:05:36 · 1603 阅读 · 2 评论 -
【PyTorch问题】Tensor for ‘out‘ is on CPU, Tensor for argument #1 ‘self‘ is on CPU,but expected them...略
问题描述:RuntimeError: Tensor for 'out' is on CPU, Tensor for argument #1 'self' is on CPU, but expected them to be on GPU (while checking arguments for addmm)问题详情:model传到了GPU,但是数据没有传到GPU解决方法:将所需数据传至GPU,比如 batch_data= batch_data.to("cuda")...原创 2021-04-04 20:19:31 · 6335 阅读 · 1 评论 -
【冰糖Python】Scipy:非参数检验 Mann-Whitney rank test、Wilcoxon signed rank test、Chi-square test
利用 scipy 库可以比较方便的实现非参数显著性检验的操作,包括曼惠特尼秩检验 Mann-Whitney ranktest、威尔克森符号秩和检验 Wilcoxon signed rank test、卡方检验Chi-square test等这些方法在 scipy.stats 模块中(1)曼惠特尼秩检验(Mann-Whitney ranktest,U test)scipy.stats.mannwhitneyu(x,y,use_continuity=True,alternative=N...原创 2021-04-01 17:52:40 · 3349 阅读 · 0 评论 -
【冰糖Python】Pandas:DataFrame 修改单列的数值类型
在创建DataFrame时只能指定整个数据框的类型,需要指定单列的数据类型时需要用到 to_numeric() 方法原创 2021-04-01 10:55:42 · 6603 阅读 · 0 评论 -
【冰糖Python】Windows系统 查看已安装的Python版本
有几种方式可选(1)直接查看系统环境变量中的系统路径(2)cmd命令行py -0(3)cmd命令行键入python仅能查看系统默认版本,即系统环境变量原创 2021-04-01 10:20:07 · 2557 阅读 · 0 评论 -
【冰糖Python】numpy:等差数列 等比数列
使用 numpy 可以方便地生成等差数列,等比数列numpy.arangenumpy.linspacenumpy.logspace原创 2021-04-01 09:39:01 · 10281 阅读 · 0 评论 -
【冰糖Python】Anaconda3安装遇到的问题fail to failed to create anaconda menus
Anaconda是一款集成的python计算环境,我们可以从官网上免费获得其安装包在此附上官网地址:https://www.continuum.io/downloads在安装过程中,主要遇到的问题有 :安装的最后出现 “fail to failed to create anaconda menus”同时发现,安装完成后 jupyter notebook 等并没有安装到相应目录中原创 2016-12-07 22:55:36 · 23851 阅读 · 1 评论 -
【冰糖Python】matplotlib库 UserWarning: Legend does not support ... A proxy artist may be used instead.
在使用 matplotlib.pyplot画图添加图例:fig, ax1 = plt.subplots()line1 = ax1.plot(x, y, color='firebrick') # draw a lineax2.legend([line1], ['First'])显示以下提示:原因在于,plot 返回 的 list 对象(list of Line2D)需要解构,因此需要在line1和等号之间加一个逗号:fig, ax1 = plt.subplots()line1.原创 2021-03-28 10:32:46 · 3866 阅读 · 3 评论 -
【冰糖Python】PyTorch: Tensor 张量属性及相关操作
torch.Tensor.item()用于将单个值的 Tensor 转换为 Python 数字原创 2021-03-21 12:26:28 · 1313 阅读 · 0 评论 -
【冰糖Python】progressbar:实现文本程序进度条
python 中有多种实现进度条的方式,其中,个人认为 progressbar 库提供了简单又强大的实现既能满足实际需求,又没有必要动手写(比如利用 sys.stdout.flush() 实现)基本用法为:pbar = progressbar.ProgressBar().start()for i in range(100): # do something time.sleep(1) # update pbar.update(i+1)pbar.finish()原创 2021-03-19 21:37:07 · 635 阅读 · 0 评论 -
【冰糖Python】PyTorch tensor 和 Numpy ndarray 互相转换
使用 numpy 里的 array 处理数据非常方便在基于 PyTorch 的模型中也会经常用到,难免会将张量 tensor 和 数组 array 进行互相转换牢记以下转换方式很有必要1、array 转 tensorfrom_numpy()2、tensor 转 arraynumpy()...原创 2021-03-17 11:37:04 · 11126 阅读 · 0 评论 -
【冰糖Python】内置库copy:浅拷贝 深拷贝
Python 内置库 copy 用于实现原创 2021-03-17 10:54:37 · 207 阅读 · 0 评论 -
【冰糖Python】PyTorch:Dropout 操作 torch.nn.Dropout()
torch.nn.Dropout()原创 2021-03-17 09:58:08 · 6706 阅读 · 1 评论 -
【冰糖Python】PyTorch:module mode 模块模式 model.train() model.eval()
model.train()model.eval()原创 2021-03-17 09:25:30 · 1335 阅读 · 0 评论 -
【冰糖Python】PyTorch:模型状态字典 state_dict() load_state_dict()
model.state_dict()原创 2021-03-16 22:32:44 · 6165 阅读 · 0 评论 -
【冰糖Python】PyTorch:张量维度扩充 维度压缩 torch.squeeze() torch.unsqueeze()
张量可以看做多维数组,有时需要对维度进行相关操作比如,使用 PyTorch 对二维图像进行处理,需要扩展为四维的张量原创 2021-03-16 22:09:18 · 2591 阅读 · 1 评论 -
【冰糖Python】numpy:上三角矩阵 下三角矩阵 numpy.triu() numpy.triu_indices() numpy.tril() numpy.tril_indices()
numpy原创 2021-03-16 17:42:20 · 13367 阅读 · 2 评论 -
【冰糖Python】pickle库:python变量的保存与读取
import pickledata_savef = open('TEMP.data', 'wb')pickle.dump(data_save, f)f.close()f = open('TEMP.data', 'rb')data_read = pickle.load(f)f.close()原创 2021-03-16 16:47:29 · 579 阅读 · 0 评论 -
【冰糖Python】PyTorch:损失函数 BCELoss() BCEWithLogitsLoss() 和 CrossEntropyLoss()
PyTorch中提供了很多种损失函数,常用于分类的是nn.BCELoss()、nn.BCEWithLogitsLoss() 和 nn.CrossEntropyLoss()其中,nn.BCELoss()、nn.BCEWithLogitsLoss() 用于二分类问题, nn.CrossEntropyLoss() 既可用于二分类又可用于多分类1、nn.BCELoss()2、nn.BCEWithLogitsLoss()3、nn.CrossEntropyLoss()...原创 2021-03-07 12:03:22 · 5727 阅读 · 0 评论 -
【冰糖Python】PyTorch:数据加载 torch.utils.data.DataLoader()
使用基于 PyTorch 构建的模型进行训练前,需要对数据进行加载操作即使用torch.utils.data.DataLoader()原创 2021-03-06 17:53:21 · 1535 阅读 · 0 评论 -
【冰糖Python】PyTorch:数据集包装 torch.utils.data.TensorDataset()
有时需要使用 PyTorch 对本地数据 进行分类任务,需要对本地数据进行加载假设常用的本地数据文件为二维表结构,通过一般性操作获得数据和类标,并完成训练集/测试集划分后进一步需要转换为 Tensor 类型,此时就需要使用torch.utils.data.TensorDataset()...原创 2021-03-06 17:17:35 · 3326 阅读 · 0 评论 -
【冰糖Python】PyTorch:设置随机种子
为了保证基于 PyTorch 的模型的可再现性,需要设定随机种子但问题关键还是在于,如果知道随机性来自哪里,设置对应的随机种子即可比如使用了 numpy.random,则应设置 numpy.random.seed(seed)在 PyTorch 中主要有以下几种随机种子设置规则:1、torch.manual_seed(seed)设置用于生成随机数的种子,返回一个 torch.Generator 对象。2、torch.cuda.manual_seed(seed)设置当前GPU生成随.原创 2021-03-06 12:41:02 · 1586 阅读 · 0 评论 -
【冰糖Python】Pearson Spearman Kendall 相关系数(numpy pandas scipy 库)
在 python 中有多种计算相关系数的方法常用的numpy,pandas,scipy 库中均可以计算相关系数,但用法存在较大区别,通过以下例子说明假设有以下两个矩阵 data_temp1、data_temp2,两个向量 data_vector1、data_vector21、numpy.corrcoef()numpy.corrcoef(x, y=None, rowvar=True, dtype=None)返回 Pearson 相关系数矩阵x:一维数组或者二维矩阵。x的每一行.原创 2021-03-01 17:12:09 · 4416 阅读 · 2 评论 -
【冰糖Python】PyTorch Geometric:Data 对象
PyTorch Geometric 中提供了一种使用多种属性表示图的数据类型 Dataclass Data(x=None,edge_index=None,edge_attr=None,y=None,pos=None,normal=None,face=None,**kwargs)x:tensor 类型,表示形状为 [num_nodes,num_node_features] 的结点的特征矩阵,默认为 None(num_nodes 为结点数,详见类属性部分)edge_index:lon...原创 2021-02-26 12:56:48 · 1432 阅读 · 0 评论 -
【冰糖Python】python的特殊注释 # noqa # todo # type
Python 的注释方式中存在一些特殊的用法,比如 # noqa, # todo, # type(1)# noqanoqa 指no quality assurance,用在一行代码后,表示这一行代码自动检查忽略错误,由IDE支持比如以下命名拼写问题,不会出现下划线提醒:也可以用作# noqa: <error>,表示忽略某一特定类型的错误,例如import numpy # noqa: F401表示忽略引用了numpy但并未使用的问题,不会出现提示(2)#...原创 2021-02-25 20:54:34 · 4322 阅读 · 0 评论