![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习入门
文章平均质量分 79
星星点灯er
这个作者很懒,什么都没留下…
展开
-
LSTM & Bi-LSTM & GRU
1、LSTM简介基于RNN,与之不同的是一个是门控单元有所不同。长短期记忆网络将信息存放在递归网络正常信息流之外的门控单元中,这些单元可以存储、写入或读取息就像计算机内存中的数据一样。但愿通过门的开关判定存储哪些信息,何时允许读取、写入或清除信息。这些门是模拟的,包含输出范围全部在0~1之间的Sigmoid函数的逐元素相乘操作。这些门依据接收到的信号开关,而且会用自身的权重集对信息进行筛选,根据强度和输入内容决定是否允许信息通过。这些权重会通过递归网络的学习过程进行调整。LSTM主要是为了解决长序列训原创 2020-12-18 22:43:52 · 1679 阅读 · 1 评论 -
循环神经网络RNN
1、简介RNN主要用来处理序列数据,在传统的神经网络模型中,是从输入层到隐含层再到输出层,每层内的节点之间无连接,循环神经网络中一个当前神经元的输出与前面的输出也有关,网络会对前面的信息进行记忆并应用于当前神经元的计算中,隐藏层之间的节点是有连接的,并且隐藏层的输入不仅包含输入层的输出还包含上一时刻隐藏层的输出。理论上,RNN可以对任意长度的序列数据进行处理。2、模型一个经典的RNN网络:RNN采用参数共享的机制,是时间维度上共享权重U、V、W一个简单的前向传播过程入下图所示:hth原创 2020-12-18 20:25:38 · 495 阅读 · 1 评论 -
卷积神经网络CNN
深度学习简介深度学习是一种利用复杂结构的多个处理层来实现对数据进行高层抽象的算法。传统的BP算法仅有几层网络,不足之处是:1、需要人工指定特征 2、易出现局部最优问题 3、维度灾难。深度学习引入概率生成模型,可以自动从训练集中提取特征,从而解决了手工特征考虑不周的问题。1、卷积神经网络的基本概念卷积:表征函数f与g经过翻转和平移的重叠部分函数值乘积对重叠长度的积分。公式为:f(x)∗g(x)=∑−∞+∞f(τ)g(x−τ)dτf(x)*g(x)=\sum\limits_{-\infty}^{+\inf原创 2020-12-18 17:15:55 · 339 阅读 · 0 评论 -
前馈神经网络
前馈神经网络(全连接神经网络)1、 概念及组成前馈神经网络:每层神经元与下层神经元相互连接,神经元之间不存在同层连接,也不存在跨层连接。组成:输入层、隐藏层、输出层常用神经元:M-P神经元图中f函数为激活函数,θ\thetaθ为阈值,wTxw^TxwTx的值超过阈值,激活函数被激活,通过激活函数处理产生神经元的输出。2、 常见的激活函数Sigmoid函数、tanh函数、ReLu函数激活函数常有的性质:非线性可微性单调性f(x)≈xf(x)\approx xf(x)≈x输出值范原创 2020-12-18 14:26:09 · 8578 阅读 · 0 评论 -
线性回归-梯度下降法
前文1、梯度下降法前文在求解损失函数的最小值的时候,使用到了最小二乘法,但是有一定的缺陷,当数据量大的时候,计算量就变大了,效率就体现不出来了。梯度下降法是求解目标函数最优解的一个比较通用的方法。梯度: 在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。沿着梯度向量的方向更易找到函数最大值,沿着梯度向量相反的方向更易找到最小值。2、一元线性回归中的梯度下降可以使用:x=x−ηdfdxx=x-\eta\frac{df}{dx}x=x−ηdxdf ,来原创 2020-11-13 16:23:45 · 2442 阅读 · 0 评论 -
线性回归-最小二乘法
1、简单线性回归所要求得的结果是一个具体的数值,而不是一个类别的话,则该问题是回归问题。只有一个特征的回归问题,成为简单线性回归。两个变量之间存在一次方函数关系,就称它们之间存在线性关系。拟合就是把平面上一系列的点,用一条光滑的曲线连接起来。使用方程y=ax+by=a x+by=ax+b 最大程度拟合样本点。图中每一个点对应了一个样本特征xix^{i}xi,表示第iii个数据点,样本对应的结果值为yiy^{i}yi。如找到了拟合程度最大的方程,就是直到a,b的值。将xix^{i}xi带入找到的这个方程原创 2020-11-12 17:52:32 · 2890 阅读 · 0 评论 -
KNN
一、自编数据简单操作import numpy as npimport matplotlib.pyplot as plt# 这里先用假的数据集raw_data_X = [[ 3.3935,2.3312], [3.1101,1.7815], [1.3438,3.3684], [3.5823,4.6792], [2.2804,2.8670], [7.4234,4.6原创 2020-11-02 21:40:35 · 982 阅读 · 0 评论