- 博客(17)
- 收藏
- 关注
RSS订阅原创 神经网络（BP神经网咯）
BP(Back Propagation)神经网络BP神经网络是整个人工神经网络体系中的精华，广泛应用于分类识别，逼近，回归，压缩等领域。在实际应用中，大约80%的神经网络模型都采取了BP网络或BP网络的变化形式。网络结构 BP算法...
2021-11-29 12:21:29
195
原创 神经网络（线性神经网络、Delta学习规则）
线性神经网络线性神经网络在结构上与感知器非常相似，只是激活函数不同。在模型训练时把原来的sign函数改成了purelin函数：y = x 除了sign和purelin，还有很多常用的激活函数：Delta学习规则学习规则是一种利用梯度下降法的一般性的学习规则，也可以称为连续感知器学习规则。 首先也要定义代价函数（损失函数），二次代价函数：误差E是权向量W的函数，我们可以使用梯度下降法来最小化E的值：...
2021-11-25 14:49:01
3639
原创 神经网络（单层感知器）
概念单层感知器算法是神经网络算法中结构最简单的模型，作为一种线性分类器，可以高效快速地解决线性可分的问题。 设计的感知器结构如下： 感知器实例： 感知器的另一种结构：（去掉了b，改为一固定输入x0） 感知器学习规则： 学习率：一般取在0~1之间 学习率太大容易造成权值调整不稳定 ...
2021-11-21 23:51:03
2623
原创 机器学习（非线性逻辑回归）
梯度下降法 第一步：导库、导数据import matplotlib.pyplot as pltimport numpy as npfrom sklearn.metrics import classification_reportfrom sklearn import preprocessingfrom sklearn.preprocessing import PolynomialFeatures# 数据是否需要标准化scale = False# 载入数据data =...
2021-11-20 21:19:27
393
原创 优化算法（粒子群算法）
基本概念粒子群优化算法(PSO：Particle swarm optimization) 是一种进化计算技术（evolutionary computation）。源于对鸟群捕食的行为研究。粒子群优化算法的基本思想：是通过群体中个体之间的协作和信息共享来寻找最优解。粒子群算法通过设计一种无质量的粒子来模拟鸟群中的鸟，粒子仅具有两个属性：速度和位置，速度代表移动的快慢，位置代表移动的方向。每个粒子在搜索空间中单独的搜寻最优解，并将其记为当前个体极值，并将个体极值与整个粒子群里的其他粒子共享，...
2021-11-19 17:00:32
6947
原创 机器学习（逻辑回归）
逻辑回归逻辑回归的原理是用逻辑函数把线性回归的结果(-∞,∞)映射到(0,1)，一般是用来做二分类问题。逻辑函数(Sigmoid函数)从图1可以看出，当x趋于-∞，g(x)趋于0，当x趋于∞，g(x)趋于1，且函数的值阈为(0,1)。同时可以发现当x趋于5时，g(x)的值已经到0.99附近，x越大，g(x)越趋于1。概率也是介于0到1之间的一些数，很自然我们可以把sigmod函数的值域和概率联系起来。 Sigmoid函数的...
2021-11-17 21:15:29
936
原创 机器学习（分类问题中的正确率/召回率/F1指标）
正确率与召回率(Precision & Recall)是广泛应用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。一般来说，正确率就是检索出来的条目有多少是正确的，召回率就是所有正确的条目有多少被检索出来了。 F1指标是综合上面二个指标的评估指标，用于综合反映整体的指标。这几个指标的取值都在0-1之间，数值越接近于1，效果越好。举例某池塘有1400条鲤鱼，300只虾，300只鳖。现...
2021-11-17 13:32:01
1536
原创 优化算法（遗传算法）
遗传算法基本概念定义遗传算法（Genetic Algorithm, GA）起源于对生物系统所进行的计算机模拟研究。它是模仿自然界生物进化机制发展起来的随机全局搜索和优化方法，借鉴了达尔文的进化论和孟德尔的遗传学说。其本质是一种高效、并行、全局搜索的方法，能在搜索过程中自动获取和积累有关搜索空间的知识，并自适应地控制搜索过程以求得最佳解。相关术语基因型(genotype)：性状染色体的内部表现。 表现型(phenotype)：染色体决定的性状的...
2021-11-16 20:45:10
8377
原创 机器学习（弹性网）
弹性网 q=1是LASSO，q=2是岭回归，弹性网同时结合了LASSO和岭回归。实战-sklearn 第一步：导库、导数据import numpy as npfrom sklearn import linear_modeldata = np.genfromtxt(r"longley.csv",delimiter=',')x_data = data[1:,2:]y_data = data[1:,1] 第二步：创建、训练模型、...
2021-11-15 10:26:03
490
原创 机器学习（LASSO）
LASSO 代价函数：岭回归采用L2正则化，LASSO采用L1正则化实战-sklearn 第一步：导库、导数据import numpy as npfrom sklearn import linear_modeldata = np.genfromtxt(r"longley.csv",delimiter=',')x_data = data[1:,2:]y_data = data[1:,1] 第二步：训练、使用模型# 创建...
2021-11-14 13:10:17
1240
原创 机器学习（岭回归）
岭回归 一般特征数比样本数多的时候，可以采用岭回归： 岭回归的代价函数：岭回归的代价函数就相当于原来的代价函数加上正则项（这里的λ是正则项的系数） 因为加入了L2正则项，所以称为有偏估计，无正则项就叫无偏估计。 岭回归的岭迹图： 四个曲线代表四个参数值θ1、θ2、θ3、θ4的变化规律，X轴的值代表λ的变化，可以用于控制模型特征的权重θ的大小，可以看出λ越大，各个θ越小，这是因为代价函数中正则项所...
2021-11-13 10:52:23
4454
原创 机器学习（过拟合、正则化）
过拟合 拟合一般会出现如下三种情况： 过拟合一般在训练集里变现非常好，甚至loss可能会等于0，但是在测试集中的表现可能反而不好，得到的loss很高，一般出现这种情况就是发生了过拟合。 抵抗过拟合方法 1、减少特征 2、增加数据量 3、正则化正则化 正则化一般分为两种：L1正则化和L2正则化这是我学习覃秉丰老师的《机器学习算法基础...
2021-11-12 22:33:16
793
原创 机器学习（特征缩放、交叉验证）
特征缩放 如果两个特征的量级相差非常大，一般会采取特征缩放，以缩短梯度下降训练模型改的时间，如下案例中的两个特征，最好采用特征缩放： 方式一：数据归一化 数据归一化就是把数据的取值范围处理为0~1或-1~1: 方式二：均值标准化交叉验证 这是一种测试方法，当数据的数据集比较小的时候，就不将数据单纯分为训练集和测试集，而是分成多份，比如切成10份，每次取9份作训练集，剩余一份作测试集，循环，可以得到...
2021-11-12 22:13:33
2700
原创 机器学习（标准方程法）
标准方程法 这是用来解线性回归的另一种方法，即通过数学的手段直接求出loss最小的解，二维的如下所示：Cost function的矩阵表示两种方法的比较实战 第一步：导库、导数据import numpy as npimport matplotlib.pyplot as plt data = np.genfromtxt("data.csv", delimiter=",")x_data = data[:,0,np.newaxi...
2021-11-11 13:14:56
229
原创 机器学习（多项式回归）
多项式回归 若我们需要寻找的不是直线（超平面），而是由多项式所表达的曲线（超曲面），多项式回归的方程可以表达为如下形式：实战-sklearn 步骤一：导库、导数据import numpy as npimport matplotlib.pyplot as pltfrom sklearn.preprocessing import PolynomialFeaturesfrom sklearn.linear_model import LinearRegres...
2021-11-11 11:22:29
349
原创 机器学习（多元线性回归）
多元线性回归一元线性回归是单特征（一个自变量，一个因变量），方程为：当考虑多个特征时，就得到了多元线性回归，方程为： 同一元线性回归，可以得到多元线性回归的cost function： 参数更新（左1，右>=1）:实战 案例如下（二元线性回归）：方法一：梯度下降法 步骤一：导库、导数据# 导入需要的库import numpy as n...
2021-11-11 00:44:26
1559
原创 机器学习（一元线性回归）
一元线性回归模型回归分析一元线性回归模型如下所示：（我们只需确定此方程的两个参数即可）第一个参数为截距，第二个参数为斜率 为了求解上述参数，我们在这里引入代价函数（cost function）,在这里以一元线性回归模型为例：上述式子为真实值与预测值之间的差值的平方（当然也可以取绝对值，但为便于后续数值操作取其平方），最后取所有训练集个数的平均值，结合下图直观理解。上述由一些参数构成的函数称...
2021-11-09 15:29:43
1820
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人