![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习笔记
机器学习笔记
Vic.GoodLuck
窗外有风景,笔下有前途!
展开
-
(八)循环神经网络RNN(原理)
之前的DNN(全连接神经网络)和CNN的输入都是固定尺寸的,无法处理时序相关序列问题。引入循环神经网络用于解决有关时序相关的问题,例如nlp中的词性分析,需要联系上下文。循环神经网络RNN循环神经网络在层内可以双向传递信息(层与层之间不能)基本原理 在RNN的隐藏层中,同一个隐藏层中进行信息的自我传递,神经元当前的输出与之前的输出建立联系,记忆前面的信息并用于当前神经元的计算相关概念前向传播过程反向传播过程......原创 2022-05-31 14:20:53 · 938 阅读 · 0 评论 -
(九)集成学习(原理)
集成学习(Ensemble learning)通过构建并结合多个学习器来完成学习任务集成学习的一般结构为:先产生一组“个体学习器”,再用某种策略将它们结合起来Bagging随机森林并行训练多个学习器(多个决策树模型),将分别得到的预测结果综合决策(比如取平均,或以多数为准等)样本随机采样与特征随机采样,每个树模型的数据、特征都随机选取,比如树模型A随机选择选择80%的数据,60%的特征来做训练,而树模型B随机选择另外的80%的数据,60%的特......原创 2022-05-28 11:53:15 · 847 阅读 · 0 评论 -
(七)卷积神经网络(原理)
一般框架卷积->激活->池化->全连接层其中卷积、激活、池化组合用于提取特征,全连接层用于得到最终结果进行分类基本结构输入层卷积层CONV卷积的目的是提取输入的不同特征卷积核(filter/kernel):对输入图像中一定大小的部分进行遍历,同一卷积核中的数据与该卷积核的权值相乘累加,得到1个数据。卷积核的行和列一般为奇数,方便于定位步长(stride):卷积核在图片上一次移动的距离填充(padding):由于卷积后得到的数据尺寸会缩小,所以原创 2022-05-26 10:20:21 · 944 阅读 · 0 评论 -
(六)人工神经网络(原理)
感知器--MP神经元模型原创 2022-05-24 12:12:01 · 862 阅读 · 0 评论 -
(五)聚类算法(K-means&&Dbscan&&层次聚类)(原理)
寻找距离最小的质心,和他分成一类流程指定簇数K,随机初始化K个样本作为质心,对其余样本进行分类,分类完后对每个类别再次选出新的质心,对剩下样本再次重新分类,反复迭代直到分类结果不变流程指定密度阈值MinPts和半径r......原创 2022-05-19 08:07:04 · 861 阅读 · 0 评论 -
(四)决策树(原理)
信息熵表示物体类别的混乱程度,用来选择用于分类的特征属性的指标一、信息增益如果以属性a来分类,表示集合中属性a值为的样本数量表示该属性某一取值的集合的信息熵,越小表示的样本越纯而信息增益的定义即表示如果D按属性a分类,可以降低的信息熵程度,增益值Gain越大表示分类后变得越纯二、信息增益率增益率=增益/IV(a),通常属性a的取值越少,即以a分组的分支越少,增益率越大三、基尼值Pk为第k类样本占的比例,基尼值越小,纯度越高...原创 2022-05-10 12:26:03 · 915 阅读 · 0 评论 -
(三)支持向量机SVM(原理)
SVM是二分类模型,将实例的特征向量映射为空间中的一些点,SVM 的目的就是想要画出一条线,以 “最好地” 区分这两类点。样本点到直线的距离推导对数据变换,使得我们想使得最近的点的最大距离最小那么转化成求W的极小值利用拉格朗日求解条件约束下的极值......原创 2022-05-07 18:10:15 · 811 阅读 · 0 评论 -
(二)朴素贝叶斯分类(原理)
可能P(A|B)不好求,我们就转换成求P(B|A)朴素贝叶斯假设特征之间是相互独立的原创 2022-05-04 22:41:46 · 798 阅读 · 0 评论 -
(一)线性回归(优化Plus)
数据的标准化(归一化):使收敛更快!学习率调小:使收敛更精准!但需要更多迭代批量梯度下降:一次计算所有样本,肯定精确,但耗时!随机梯度下降:一个epoch中,每个batch的样本随机选取,但是不重复小批量梯度下降(MiniBatch):每个batch设置的小一些,一般为2的次幂,最常用!正则化:对权重参数进行惩罚,让权重参数尽可能平滑(常见方法是权重加平方项等)正则化的方法也有岭回归和lasso回归,在损失函数引入正则化项,防止过拟合......原创 2022-05-02 23:01:41 · 806 阅读 · 0 评论 -
(一)线性回归(代码实现)
接收预处理的数据,初始化各种参数(data_processed,#预处理完的数据 features_mean, #特征的平均值 features_deviation #特征的标准差) = prepare_for_training(data, polynomial_degree, sinusoid_degree,normalize_data=True)self.data = data_processedself.labels = labels#标签 真实值self.features_mea原创 2022-05-01 23:46:03 · 889 阅读 · 0 评论 -
(一)线性回归(原理)
为参数项,为误差项(表示真实值和预测值的误差)原创 2022-05-01 22:22:36 · 811 阅读 · 0 评论