- 博客(41)
- 收藏
- 关注
RSS订阅
1原创 GPU（笔记）
查看一些基础信息：!nvidia-smi我们可以指定⽤于存储和计算的设备，如CPU和GPU。默认情况下，张量是在内存中创建的，然后使⽤CPU计算它。 在PyTorch中，CPU和GPU可以⽤torch.device('cpu') 和torch.device('cuda')表⽰。应该注意的是，cpu设备意味着所有物理CPU和内存，这意味着PyTorch的计算将尝试使⽤所有CPU核⼼。然而，gpu设备只代表⼀个卡和相应的显存。如果有多个GPU，我们使⽤torch.device(f'cu.
2022-02-12 15:37:56
691
原创 深度学习计算：层和块（笔记）
模型构造回顾多层感知机，简单实现import torchfrom torch import nnfrom torch.nn import functional as Fnet = nn.Sequential(nn.Linear(20, 256), nn.ReLU(), nn.Linear(256, 10))X = torch.rand(2, 20)net(X)nn.Sequential 相当于定义了一个特殊的Modle。任意的层和神经网络都应该是Modle的一个子类。自定义块实
2022-02-09 20:44:58
1036
原创 自动求导机制+线性回归试水笔记（Pytorch）
梯度梯度：是一个向量，学习（参数更新）的方向，简单理解就是导数变化最快的方向。梯度下降计算更新参数w的梯度 w=w-α▲w反向传播计算图：通过图的方式来描述函数的图形，可以很清楚的看出向前计算的过程。若J（a,b,c）=3（a+bc）,令v=bc，u=a+bc，计算图可以表示为：对每个节点求偏导，则有：反向传播就是上图中从右往左的过程，自变量abc的偏导就是连线上梯度的乘积：神经网络罗中的反向传播神经网络示意图w1,w2,……,wn代表网络的第n层权重。 wn[.
2022-02-03 11:15:46
1344
原创 Pytorch入门操作
张量Tensor各种数值数据都可以称之为张量。0阶张量：标量、常数（scaler） 0-D Tensor 1阶张量：向量（vector） 1-D Tensor 2阶张量：矩阵（matrix） 2-D Tensor …… n阶张量Tensor创建import torchimport numpy as np#列表创建tensort1=torch.Tensor([1,2,3])#numpy创建tensort2=torch.Tensor...
2022-01-31 17:41:52
1990
原创 随机森林笔记
决策树是一种有监督的机器学习方法，可以用于解决分类和回归问题。决策树可以简单地理解为达到某一特定结果的一系列决策。当决策树作为分类器用于分类时,通过训练数据建立决策树,可以用这棵树高效地对未知数据进行分类,同时其也具有两大优点:决策树模型可读性好，具有描述性，有助于人工分析 效率高，决策树只需要进行一次构建，可以反复使用，每一次预测得最大计算次数不能超过树的深度缺点：容易产生过拟合ID3算法（只分类）信息量：信息量是用来衡量一条信息的发生使系统变得更确定的程度！...
2022-01-27 11:37:32
1074
原创 数据分析：Pandas基础2
替换操作替换操作可以同步作用于Series和DataFrame中单值替换：普通替换：替换所有符合要求的元素：to_replace=15,value='e' 按列指定单值替换：to_replace=｛列标签：替换值｝,value='value' 多值替换：列表替换：to_replace=[],value=[] 字典替换：to_replace=｛to_replace:value，to_replace:value...
2021-12-04 20:16:02
1182
原创 基于pandas的数据清洗
原始数据中存在缺失值（空值）、重复值、异常值。处理丢失数据有两种丢失数据：None、np.nan(NAN) 两种丢失数据的区别：none是对象类型的空，nan是浮点型的空。 为什么数据分析中要用到的是nan而不是none？数据分析中常会使用某些形式的运算来处理原始数据，若空位nan，则不会干扰和中断运算（因为可以参与运算，none不能参与运算） pandas中如果遇到了none形式的空则会强制转换为NAN的空。pandas处...
2021-12-02 16:28:26
291
原创 数据分析：Pandas基础
Pandas中两个常用的类（两种不同的数据结构）：Series、DataFrameSeriesSeries是一种类似于一维数组的对象，由两部分组成：values:一组数据（ndarray类型） index：相关的数据索引标签from pandas import SeriesSeries的创建由列表或numpy数组创建 由字典创建Series参数：data（数据源）、index（索引）list作为数据源ss=Series([1,2,3,'...
2021-12-01 21:23:22
828
原创 数据分析：Numpy基础
np.array的创建import numpy as np#方法一np.array([1,2,3],dtype='') # 参数1：数据源 参数二：表示的是数组中元素的类型 数组和列表的区别 数组中存储的元素必须是同一类型的，如果不是，会强制转换为同一类型 优先级：字符串>浮点型>整型...
2021-12-01 14:13:59
1124
原创 神经网络（BP神经网咯）
BP(Back Propagation)神经网络BP神经网络是整个人工神经网络体系中的精华，广泛应用于分类识别，逼近，回归，压缩等领域。在实际应用中，大约80%的神经网络模型都采取了BP网络或BP网络的变化形式。网络结构 BP算法...
2021-11-29 12:21:29
122
原创 神经网络（线性神经网络、Delta学习规则）
线性神经网络线性神经网络在结构上与感知器非常相似，只是激活函数不同。在模型训练时把原来的sign函数改成了purelin函数：y = x 除了sign和purelin，还有很多常用的激活函数：Delta学习规则学习规则是一种利用梯度下降法的一般性的学习规则，也可以称为连续感知器学习规则。 首先也要定义代价函数（损失函数），二次代价函数：误差E是权向量W的函数，我们可以使用梯度下降法来最小化E的值：...
2021-11-25 14:49:01
2604
原创 神经网络（单层感知器）
概念单层感知器算法是神经网络算法中结构最简单的模型，作为一种线性分类器，可以高效快速地解决线性可分的问题。 设计的感知器结构如下： 感知器实例： 感知器的另一种结构：（去掉了b，改为一固定输入x0） 感知器学习规则： 学习率：一般取在0~1之间 学习率太大容易造成权值调整不稳定 ...
2021-11-21 23:51:03
2231
原创 机器学习（非线性逻辑回归）
梯度下降法 第一步：导库、导数据import matplotlib.pyplot as pltimport numpy as npfrom sklearn.metrics import classification_reportfrom sklearn import preprocessingfrom sklearn.preprocessing import PolynomialFeatures# 数据是否需要标准化scale = False# 载入数据data =...
2021-11-20 21:19:27
331
原创 优化算法（粒子群算法）
基本概念粒子群优化算法(PSO：Particle swarm optimization) 是一种进化计算技术（evolutionary computation）。源于对鸟群捕食的行为研究。粒子群优化算法的基本思想：是通过群体中个体之间的协作和信息共享来寻找最优解。粒子群算法通过设计一种无质量的粒子来模拟鸟群中的鸟，粒子仅具有两个属性：速度和位置，速度代表移动的快慢，位置代表移动的方向。每个粒子在搜索空间中单独的搜寻最优解，并将其记为当前个体极值，并将个体极值与整个粒子群里的其他粒子共享，...
2021-11-19 17:00:32
6147
原创 机器学习（逻辑回归）
逻辑回归逻辑回归的原理是用逻辑函数把线性回归的结果(-∞,∞)映射到(0,1)，一般是用来做二分类问题。逻辑函数(Sigmoid函数)从图1可以看出，当x趋于-∞，g(x)趋于0，当x趋于∞，g(x)趋于1，且函数的值阈为(0,1)。同时可以发现当x趋于5时，g(x)的值已经到0.99附近，x越大，g(x)越趋于1。概率也是介于0到1之间的一些数，很自然我们可以把sigmod函数的值域和概率联系起来。 Sigmoid函数的...
2021-11-17 21:15:29
821
原创 机器学习（分类问题中的正确率/召回率/F1指标）
正确率与召回率(Precision & Recall)是广泛应用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。一般来说，正确率就是检索出来的条目有多少是正确的，召回率就是所有正确的条目有多少被检索出来了。 F1指标是综合上面二个指标的评估指标，用于综合反映整体的指标。这几个指标的取值都在0-1之间，数值越接近于1，效果越好。举例某池塘有1400条鲤鱼，300只虾，300只鳖。现...
2021-11-17 13:32:01
1405
原创 优化算法（遗传算法）
遗传算法基本概念定义遗传算法（Genetic Algorithm, GA）起源于对生物系统所进行的计算机模拟研究。它是模仿自然界生物进化机制发展起来的随机全局搜索和优化方法，借鉴了达尔文的进化论和孟德尔的遗传学说。其本质是一种高效、并行、全局搜索的方法，能在搜索过程中自动获取和积累有关搜索空间的知识，并自适应地控制搜索过程以求得最佳解。相关术语基因型(genotype)：性状染色体的内部表现。 表现型(phenotype)：染色体决定的性状的...
2021-11-16 20:45:10
7172
原创 机器学习（弹性网）
弹性网 q=1是LASSO，q=2是岭回归，弹性网同时结合了LASSO和岭回归。实战-sklearn 第一步：导库、导数据import numpy as npfrom sklearn import linear_modeldata = np.genfromtxt(r"longley.csv",delimiter=',')x_data = data[1:,2:]y_data = data[1:,1] 第二步：创建、训练模型、...
2021-11-15 10:26:03
400
原创 机器学习（LASSO）
LASSO 代价函数：岭回归采用L2正则化，LASSO采用L1正则化实战-sklearn 第一步：导库、导数据import numpy as npfrom sklearn import linear_modeldata = np.genfromtxt(r"longley.csv",delimiter=',')x_data = data[1:,2:]y_data = data[1:,1] 第二步：训练、使用模型# 创建...
2021-11-14 13:10:17
1170
原创 机器学习（岭回归）
岭回归 一般特征数比样本数多的时候，可以采用岭回归： 岭回归的代价函数：岭回归的代价函数就相当于原来的代价函数加上正则项（这里的λ是正则项的系数） 因为加入了L2正则项，所以称为有偏估计，无正则项就叫无偏估计。 岭回归的岭迹图： 四个曲线代表四个参数值θ1、θ2、θ3、θ4的变化规律，X轴的值代表λ的变化，可以用于控制模型特征的权重θ的大小，可以看出λ越大，各个θ越小，这是因为代价函数中正则项所...
2021-11-13 10:52:23
3492
原创 机器学习（过拟合、正则化）
过拟合 拟合一般会出现如下三种情况： 过拟合一般在训练集里变现非常好，甚至loss可能会等于0，但是在测试集中的表现可能反而不好，得到的loss很高，一般出现这种情况就是发生了过拟合。 抵抗过拟合方法 1、减少特征 2、增加数据量 3、正则化正则化 正则化一般分为两种：L1正则化和L2正则化这是我学习覃秉丰老师的《机器学习算法基础...
2021-11-12 22:33:16
702
原创 机器学习（特征缩放、交叉验证）
特征缩放 如果两个特征的量级相差非常大，一般会采取特征缩放，以缩短梯度下降训练模型改的时间，如下案例中的两个特征，最好采用特征缩放： 方式一：数据归一化 数据归一化就是把数据的取值范围处理为0~1或-1~1: 方式二：均值标准化交叉验证 这是一种测试方法，当数据的数据集比较小的时候，就不将数据单纯分为训练集和测试集，而是分成多份，比如切成10份，每次取9份作训练集，剩余一份作测试集，循环，可以得到...
2021-11-12 22:13:33
2604
原创 机器学习（标准方程法）
标准方程法 这是用来解线性回归的另一种方法，即通过数学的手段直接求出loss最小的解，二维的如下所示：Cost function的矩阵表示两种方法的比较实战 第一步：导库、导数据import numpy as npimport matplotlib.pyplot as plt data = np.genfromtxt("data.csv", delimiter=",")x_data = data[:,0,np.newaxi...
2021-11-11 13:14:56
167
原创 机器学习（多项式回归）
多项式回归 若我们需要寻找的不是直线（超平面），而是由多项式所表达的曲线（超曲面），多项式回归的方程可以表达为如下形式：实战-sklearn 步骤一：导库、导数据import numpy as npimport matplotlib.pyplot as pltfrom sklearn.preprocessing import PolynomialFeaturesfrom sklearn.linear_model import LinearRegres...
2021-11-11 11:22:29
251
原创 机器学习（多元线性回归）
多元线性回归一元线性回归是单特征（一个自变量，一个因变量），方程为：当考虑多个特征时，就得到了多元线性回归，方程为： 同一元线性回归，可以得到多元线性回归的cost function： 参数更新（左1，右>=1）:实战 案例如下（二元线性回归）：方法一：梯度下降法 步骤一：导库、导数据# 导入需要的库import numpy as n...
2021-11-11 00:44:26
1405
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人