一颗胡萝卜的秘密基地

原创 Python学习笔记：将print打印的内容导入到文件

代码】python将print打印的内容导入到文件。

原创 Linux学习笔记：服务器后台运行程序（nohup）

当我们在Linux服务器直接运行程序，程序运行的时间较长时，程序经常会因为网络连接问题异常终止，这样我们运行的程序经常会半途而废。如果一直盯着程序运行又费时费力，所以，让程序自己在后台运行，就完美的解决了这个问题。nohup指不断地运行，是no hang up的缩写，指不间断，不挂断。运行一个进程的时候，不想让其在你退出账号时关闭，即可用nohup。-u：python的输出又缓冲，导致xxx.log并不能够马上看到输出。xxx.log保存输出的信息，运行程序时会生成这个xxx文件，里面保存这输出的信息。..

原创 PyTorch学习笔记：RuntimeError: one of the variables needed for gradient computation has been modified by

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [784, 512]], which is output 0 of TBackward, is at version 3; expected version 2 instead. Hint: enable anomaly detection to fi

原创 PyTorch学习笔记：EOFError：Ran out of input

报错分析：这个错误其实是pytorch函数torch.utils.data.DataLoader在windows下的特有错误，该函数里面有个参数num_workers表示进程个数，在windows下改为0就可以了解决方法：train_loader = Data.DataLoader( dataset=data_x, # 使用的数据集※ batch_size=64, # 批处理样本大小 shuffle=True, # 每次迭代前打乱数据

原创 PyTorch学习笔记：多GPU训练

方法一：# 选择GPU执行 or CPU执行，方法一if torch.cuda.is_available(): AEmodel = AutoEncoder() AEmodel = torch.nn.DataParallel(AEmodel).cuda()else: AEmodel = AutoEncoder()方法二：# 选择GPU执行 or CPU执行，方法二# 定义device，其中需要注意的是“cuda:0”代表起始的device_id为0，如果直接是“.

原创 PyTorch学习笔记：AutoEncoder自编码模型(基于Linear)

import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Dimport hiddenlayer as hlfrom sklearn.manifold import TSNEfrom sklearn.svm import SVCfrom sklearn.decomposition import PCAfrom sklearn.metric.

原创 PyTorch学习笔记：训练过程的可视化(hiddenlayer库)

ConvNet.py'''搭建一个卷积神经网络，该网络用于展示如何使用相关包来可视化其网络结构'''import torch.nn as nnclass ConvNet(nn.Module): def __init__(self): super(ConvNet, self).__init__() # 定义第一个卷积层: Conv2d + RELU + AvgPool2d self.conv1 = nn.Sequential(

原创 PyTorch学习笔记：训练过程的可视化(tensorboardX库)

ConvNet.py'''搭建一个卷积神经网络，该网络用于展示如何使用相关包来可视化其网络结构'''import torch.nn as nnclass ConvNet(nn.Module): def __init__(self): super(ConvNet, self).__init__() # 定义第一个卷积层: Conv2d + RELU + AvgPool2d self.conv1 = nn.Sequential(

原创 PyTorch学习笔记：网络结构的可视化

ConvNet.py'''搭建一个卷积神经网络，该网络用于展示如何使用相关包来可视化其网络结构'''import torch.nn as nnclass ConvNet(nn.Module): def __init__(self): super(ConvNet, self).__init__() # 定义第一个卷积层: Conv2d + RELU + AvgPool2d self.conv1 = nn.Sequential( ..

原创 PyTorch学习笔记：模型保存和加载方法

# 方法一：保存整个模型torch.save(mlp1, "model_saved/mlp1.pkl")mlp1load = torch.load("model_saved/mlp1.pkl") # 导入保存的模型print(mlp1load)print(mlp1load.hidden2.weight)# 方法二：只保存模型的参数torch.save(mlp1.state_dict(), "model_saved/mlp1_param.pkl")mlp1load_param = torc.

原创 _pickle.PicklingError: Can‘t pickle ＜class ‘__main__.MLPmodel‘＞: attribute lookup MLPmodel on __main

报错信息：_pickle.PicklingError: Can't pickle <class '__main__.MLPmodel'>: attribute lookup MLPmodel on __main__ failed解决方法：报错信息的意思是在main里面找不到MLPmodel（文末附源代码）因为我是在同一个文件A里定义的网络结构(class MLPmodel)，在后面的if __name__ == "__main__"里面使用，故出现上述报错。※ 将class

原创 PyTorch学习笔记：用Module和Sequential两种方式搭建网络

'''搭建网络：用Module和Sequential两种不同的网络定义方式'''import torchimport torch.nn as nn # nn模块方便用户对网络中的层的使用from torch.optim import SGDimport torch.utils.data as Data # Data模块用于对使用数据的预处理from sklearn.datasets import load_boston # 用于导入数据from sklearn.preprocessing.

原创 PyTorch学习笔记：针对一个网络的权重初始化方法

# 针对一个网络的权重初始化方法import torchimport torch.nn as nn## 建立一个测试网络class TestNet(nn.Module): def __init__(self): super(TestNet, self).__init__() self.conv1 = nn.Conv2d(3, 16, 3) self.hidden = nn.Sequential( nn.Linear.

原创 PyTorch学习笔记：基础语法及应用

import torchv = torch.__version__cu = torch.cuda.is_available()k = torch.tensor([1.2, 3.4]).dtypex = torch.tensor((1, 2, 3), dtype=torch.float32, requires_grad=True)y = x.pow(2)z = y.sum()z.backward() # 参数必须是个标量print(x.grad)print(x, y, z)# .

转载 交叉验证——对数据集的划分

写在前面：为什么划分数据集?以我们的比赛为例，赛方提供有标签的训练数据和无标签的测试数据，要求我们提交测试数据的预测标签值，如果我们不划分数据集，直接用所有的数据进行训练，最后直接对无标签的测试数据预测，我们很难预测我们模型的好坏。以我的理解来看，对于数据集划分形成的验证集，相当于是平时学习中的小考，而测试数据可以看成是期末考或者高考，我们想通过数据集的划分，在验证集上达到评估我们学习能力学习效果的作用，最后为高考或者期末考做准备。“划分数据集”其实就等同于“交叉验证”交叉验证的基本思想是在某

原创 Python学习笔记：These Packages Do Not Match The Hashes From The Requirements File.报错

"These Packages Do Not Match The Hashes From The Requirements File."当出现如上的错误提示时，说明是由于网络问题导致的下载失败。如果你反复使用pip install安装，则会报错。解决方法：pip install --upgrade packageName...

原创 数据挖掘学习笔记：思维导图(未完)

原创 机器学习_学习笔记：逻辑回归(Logistic Regression)的Python实现

"""逻辑回归模型的假设是：h_θ(x) = g(θ^T @X)，X代表特征向量，g代表逻辑函数一个常用的逻辑函数为 S 形函数(sigmoid function)公式为：g(z) = 1 / (1 + e^(-z))逻辑回归的代价函数J(θ) = 1/m *(Cost(h_θ(x^(i)),y^(i))) i∈[1,m],m个样本求和 Cost(h_θ(x^(i)),y^(i...

原创 数据挖掘学习笔记：数值预测代码实践

目录线性回归回归树K近邻线性回归"""简单的线性回归例子"""from sklearn import linear_modelX = [[0, 0], [1, 1], [2, 2]]y = [0, 1, 2]reg = linear_model.LinearRegression()reg.fit(X, y) # 训练模型 X-training data；y...

原创 机器学习_学习笔记：正规方程的python实现

"""利用正规方程求解向量θθ为n+1个参数组成的(列)向量θ=[θ_0,θ_1,θ_2,...,θ_n].T T：转置"""import numpy as npdef normalEqn(X, y): """ numpy.linalg模块包含线性代数的函数。 使用这个模块，可以计算逆矩阵、求特征值、解线性方程组以及求解行列式等 :param ...

原创 数据挖掘学习笔记：分类算法

目录积极的方法（Eager Method）懒惰的方法（Lazy Method）积极的方法（Eager Method）定义：当需要进行预测时，直接使用该模型，不必再访问原始训练数据集举例：决策树、贝叶斯分类懒惰的方法（Lazy Method）定义：不需要事先学习分类模型，当需要预测时，根据预测样本的特性，和已知训练数据集中的数据进行类别的判断举例：K近邻分类...

原创 机器学习_学习笔记：监督学习和无监督学习

目录监督学习分类回归无监督学习聚类监督学习其基本思想是，我们数据集中的每个样本都有相应的“正确答案”， 再根据这些样本作出预测。分类其目标是推出一组离散的结果回归即通过回归来推出一个连续的输出无监督学习没有给算法正确答案来回应数据集中的数据。聚类在无监督学习中，我们已知的数据。看上去有点不一样，不同于监督学习的数据的样子，即无监督学习中没...

原创 机器学习_学习笔记：单变量线性回归

单变量线性回归形如 只含有一个输入变量/特征，这样的问题叫做单变量线性回归问题。代价函数梯度下降确定参数θ_0，θ_1，...，θ_n

原创 Python学习笔记：爬虫.content和.text区别

requests对象的get和post方法都会返回一个Response对象，这个对象里面存的是服务器返回的所有信息，包括响应头，响应状态码等。其中返回的网页部分会存在.content和.text两个对象中。.content中间存的是字节码 .text存的是.content编码后的字符串一般来说 .text直接用比较方便 返回的是字符串 但是有时候会解析不正常导致返回的是一堆乱码这时用....

原创 数据挖掘学习笔记：分类之决策树分类 -- ID3算法 / C4.5算法 / CART算法

ID3

原创 数据挖掘学习笔记：关联规则的生成方法

为每个频繁项集l, 生成非空子集s; 若满足

原创 数据挖掘学习笔记：频繁项集的典型挖掘方法

逐层发现算法Apriori需要多次扫描数据，对于大数据量不友好主要步骤1. k=12. 统计每个k项候选集的支持度，找出频繁的k项集：Lk3. 利用频繁的k项集生成k+1项候选集(Candidate itemset )：Ck+14. k=k+1; 转至步骤2如何生成候选项集？性质1：给定最小支持度阈值minsup，一个频繁项集的所有非空子集 都是频繁的。Apr...

原创 数据挖掘学习笔记：频繁模式和关联规则

关联规则挖掘是从交易数据库、关系数据库以及其他的数据集中发现项或对象的频繁模式（frequent patterns）、关联（ associations）的过程。支持度（support）支持度指交易包含项集X的概率（百分数） support(x) = count(x) / |D| * 100%其中D的模表示交...

原创 数据挖掘学习笔记：数据预处理

Q：为什么要进行数据预处理？A：原因：数据在搜集时由于各种原因可能存在缺失、错误、不一致等问题； 用于描述对象的数据有可能不能很好地反映潜在的模式； 描述对象的属性的数量可能有很多,有些属性是无用的或者冗余的数据预处理的任务一、数据规范化数据规范化又称标准化（standardization），通过将属性的取值范围进行统一，避免不同的属性在数据分析的过程中具有不平等的地...

原创 Anaconda：在Pycharm中使用Anaconda的解释器

我先从我的认识简单总结一下，搭建Python环境的常见模式是安装一个Python的IDE（集成开发环境）再使用pip或conda等命令安装特别扩展的第三方包，常见的Python IDE/平台简单列举如下：(1) Python自带的IDE —— IDLE，优点是小巧，缺点是需要另外安装很多Python包；(2) Anaconda平台，优点是已包含很多Python第三方包，使用比较方便，缺点是...

原创 数据挖掘学习笔记：余弦相似性

定义余弦相似性(余弦相似度)：通过计算两个向量的夹角余弦值来评估他们的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1；并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值为1；两个向量夹角为90°时，余弦相似度的值为0；两个向量指向完全相反的方向时，余弦相似度的值为-1。这结果是与向量的长度无关的，仅仅与...

原创 数据挖掘学习笔记：scikit-learn库安装

安装方法有两种：第一种：直接安装anaconda，已包含多种所需的库第二种：使用pip命令安装pip install scikit-learn※windows系统在安装scikit-learn库之前需要先安装numpy库和scipy库，且对版本有要求如图中所示，需要已安装的numpy版本>=1.11.0，scipy版本>=0.17.0※查询已安装的版本（可显示...

原创 数据挖掘学习笔记：混合属性的邻近性度量

混合类型相异度计算的思想：按不同类型的属性（如数值型，二元变量，名义变量等），根据各自类型的计算方法计算之后再加权求和。关于指示符(即 权重)：指示符为0有两种情况...

原创 数据挖掘学习笔记：序数属性的邻近性度量

序数属性：有序先映射成[0,1]的数值属性，再选择数值属性的邻近性度量的计算方法计算例子

原创 数据挖掘学习笔记：数值属性的邻近性度量

数值属性的相异性侧度：距离闵可夫斯基距离特殊形式

原创 Anacoda：parentpoller.py:116: UserWarning: Parent poll failed.

打开spyder看到错误提示：D:\ANACONDA_EXE\lib\site-packages\ipykernel\parentpoller.py:116: UserWarning: Parent poll failed.If the frontend dies, the kernel may be left running. Please let us know about your...

原创 数据挖掘学习笔记：二元属性的邻近性度量

二元属性：0和1.显而易见，0表示不出现，1表示出现分为：对称性和非对称性对称性二元属性：两个个状态同等重要非对称性：两个状态不是同等重要的(更重要的/几率较小的赋值1)，两个都取1（正匹配）比两个都取0（负匹配）的情况更有意义邻近性度量：为相异性和相似性度量问：如何刻画对称二元属性之间的相异性答：这是对象 i 与对象 j 之间二元属性的列联表q：表示对象 i 与对...

原创 数据挖掘学习笔记：标称属性(名词性)的邻近性度量

邻近性度量：相似性和相异性度量标称属性：可以拥有2个或者更多个属性值例：标称属性color：red，yellow，black，blue，green.(有5个属性值可选)问：对象由标称属性刻画，那么怎么判定对象之间的相异性呢？答：有两个方法Method 1.简单匹配d( i , j )=(p-m)/pm : p个变量中匹配的个数（表示对象i与对象j之间有相同属性值的个数）...

原创 Python编程练习：猫猫词云__魔道祖师

#词云from wordcloud import WordCloud, STOPWORDSfrom imageio import imreadfrom sklearn.feature_extraction.text import CountVectorizerimport jiebaimport csv# 获取文章内容with open("mdzs.txt",'r',encodin...

原创 数据挖掘学习笔记：数据描述性统计

集中趋势均值：中位数：众数：中列数：