YYF_Tommy的博客

《统计学习方法》学习笔记 感知机perceptron一、感知机模型1.定义2.几何解释二、感知机学习策略1.数据集的线性可分性2.感知机学习策略三、感知机学习算法1.感知机学习算法的原始形式2.算法的收敛性3.感知机学习算法的对偶形式感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型。一、感知机模型1.定义假设输入空间是χ⊆Rn\chi \subseteq R

深度学习基础与实践（八）CNN卷积神经网络1.卷积2.CNN卷积神经网络3.CNN特点介绍(1)局部卷积(2)参数共享(3)多卷积核(4)池化操作(5)多层处理好久不见！我又肥来啦！接着上一次的内容，我们聊到了RNN及RNN的一些变体的相关知识，那再讲了RNN，我们再来简单聊一下CNN吧！CNN卷积神经网络1.卷积首先，想要了解什么是卷积神经网络，这其中“卷积”二字可以说是囊括了CNN的主要思路与内涵。如果我们就按照 “给定输入，经过卷积步骤，得到输出” 的形式来理解的话，我们先举一个机器视觉

RNN循环神经网络&拓展长短时记忆网络LSTM及其变体一、RNN循环神经网络1.RNN的背景2.RNN的结构二、长短时记忆网络LSTM1.背景2.RNN的梯度消失/爆炸3.LSTM结构三、LSTM的变体1.peephole connection2.耦合(coupled)遗忘和输入单元3.GRU一、RNN循环神经网络1.RNN的背景RNN循环神经网络是在自然语言处理中常见的处理工具和手段不知道大家通过学习了解了普通的神经网络之后再来接触RNN会不会有一个疑问，就是感觉RNN不就是一般的

NLP词嵌入一、词嵌入背景二、词嵌入方法介绍1.词的独热表示(1)one-hot编码转换(2)Bag of Word模型(BOW)2.词的分布式表示(1)Word2Vec模型Skip-Gram模型CBOW模型比较Skip-Gram与CBOW(2)GloVe词向量模型一、词嵌入背景在做一些自然语言处理的相关问题时，我们可能不由的会产生一个疑惑，好好的一句话或者一个字或词是怎么被计算机处理的呢？因为，毕竟文字和单词等等都是人类智慧的一种抽象结晶，那当然计算机无法直接对文字进行处理，这个时候就需要我们先对文

深度学习基础与实践（六）一、信息熵1.信息熵2.交叉熵3.相对熵KL散度4.JS散度5.联合熵6.条件熵7.互信息8.文氏图图解二、反向传播中的梯度三、感知机(Perceptron)今天再来介绍一些概念性知识一、信息熵热力学中的熵: 是表示分子状态混乱程度的物理量信息论中的熵：用来描述信源的不确定性的大小经常使用的熵概念有下列几种：信息熵交叉熵相对熵条件熵互信息1.信息熵信源信息的不确定性函数fff通常满足两个条件：是概率ppp的单调递减函数两个独立符号所产生的不确定性

深度学习基础与实践（五）一、多元回归1.多元线性回归2.R方二、多项式回归1.多项式模型2.多项式回归步骤3.二次回归4.更高次的回归三、过拟合1.过拟合2.应对过拟合一、多元回归1.多元线性回归2.R方R方可以用于评估回归模型对现实数据拟合的程度。举例：设yiy_iyi​是测试集第iii个样本的价格，yˉ\bar yyˉ​是真实价格的均值，f(xi)f(x_i)f(xi​)是模型对第iii个样本的预测价格，nnn是样本数量。则R方计算步骤为：计算残差（估计值与实际观察值之间

深度学习基础与实践（四）一、线性回归模型1.什么是回归2.回归VS分类3.线性模型4.非线性模型5.线性回归6.概率解释7.求解参数二、线性回归模型的求解方法1.矩阵解法2.梯度下降法一、线性回归模型1.什么是回归2.回归VS分类区别：分类：使用训练集推断输入x所对应地离散类型（如：+1，-1）回归：使用训练集推断输入x所对应额输出值，为连续实数联系：利用回归模型进行分类：可将回归模型地输出离散化以进行分类利用分类模型进行回归：也可利用分类模型的特点，输出其连续化的数值3

深度学习基础与实践（三）一、特征工程二、向量空间模型三、特征处理1.特征值的缩放1.标准化法一、特征工程我们老师给我们讲过这样一句话：“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。”深度学习也要用到特征，需要对输入的特征进行组合变换等处理。举例：以特征处理在nlp（自然语言处理）中的应用为例自动分词：将用自然语言书写的文章、句段经计算机处理后，以词为单位给以输出，为后续加工处理提供先决条件。词根提取与词形还原：抽取词的词干或词根形式与把词汇还原为一般形式词

深度学习基础与实践（二）一、分类及其性能度量1.分类问题2.分类性能度量(1)准确率(2)精确率和召回率(3)P-R曲线(4)F值(5)ROC曲线3.分类性能可视化(1)混淆矩阵的可视化(2)分类报告二、回归问题及其性能评价1.什么是回归2.回归性能度量方法(1)平均绝对误差MAE(2)均方差MSE(3)logistic回归损失(二类)(4)logistic回归损失(多类)三、一致性的评价方法一、分类及其性能度量1.分类问题分类问题是有监督学习的一个核心问题。分类解决的是要预测样本属于哪个或者哪

深度学习基础与实践（一）一、深度学习的引出1.机器学习2.深度学习3.后续安排二、数据集及其拆分&性能评价1.数据集的简单介绍2.数据集的拆分3.数据集的拆分方法(1)留出法（ Hold‐Out Method ）(2)k折交叉验证4.超参数&参数5.网格搜索调整超参数不出意外的话，《深度学习基础与实践》系列大约会更新八篇博客（一）至（八）博主本身也在一边学习一边总结，博文中难免会存在一些纰漏，也希望大家多多指点指正一、深度学习的引出1.机器学习在介绍深度学习之前，我们先来了解一下