aimicm的博客

原创 卷积神经网络

卷积网路基础卷积运算，二位卷积填充，步幅通道1x1 卷积卷积运算二维卷积，基本算法，对应相乘再加和填充与步幅一般是在外圈做操作，补0步幅是kernel 移动的大小多输入通道多输出通道输出通道的卷积核，我们提供这样一种理解，一个 ci×kh×kw 的核数组可以提取某种局部特征，但是输入可能具有相当丰富的特征，我们需要有多个这样的 ci×kh×kw 的核数组...

原创 机器翻译机制

机器翻译机器翻译， 将一段文本从一种语言自动翻译为另一种语言。其 输出为单词序列。处理步骤数据预处理分词建立词典输入模型Encodr-DecoderSequence to Sequence注意力机制看作适合处理由一个句子（或篇章）生成另外一个句子（或篇章）的通用处理模型。对于句子对<X,Y>。 --------（思考：<X,Y>对很通用，X...

原创 过拟合、欠拟合

过拟合和欠拟合训练误差和泛化误差训练误差，模型在训练集合上表现的误差。泛化误差 ，模型在任意一个数据集上表现出来的误差的期望。过拟合，模型训练误差远小于在测试集上的误差。欠拟合 ，模型无法在训练集上得到较低的训练误差。如何判断过拟合和欠拟合现在常用的判断方法是从训练集中随机选一部分作为一个验证集，采用K折交叉验证的方式。把原始训练数据集分割成K个不重合的子数据集，然后我们做K次模...

原创 Task 语言模型

文本预处理常见的处理的方法：读入文本分词建立字典从词的序列转换为索引的序一般用分词工具来进行分词和词频统计。不做赘述语言模型一段自然语言文本可以看作是一个离散时间序列，给定一个长度为 T 的词的序列 w1,w2,…,wT ，语言模型的目标就是评估该序列是否合理。统计语言模型要判断一段文字是不是一句自然语言，可以通过确定这段文字的概率分布来表示其存在的可能性。 语言模型中的词...

原创 Task1 softmax

线性回归， softmax给定由d个特征描述的示例? = (x1; x2; … ; xd)，其中，xi是在第i个特征上的取值，线性模型试图学得一个通过特征的线性组合来进行预测的函数，即损失函数定义为：可用高斯误差推导出：迭代优化过程采用梯度下降优化。softmax 函数一般在神经网络中， softmax可以作为分类任务的输出层。一般针对多分类任务，其实可以认为softmax输出的...

原创 贝叶斯分类

原创 神经网络

神经网络神经元模型BP算法神经元模型神经网络中最基本的单元是神经元模型（neuron）。常见的神经元模型为： M-P模型其基本结构如下图所示：神经元模型最理想的激活函数也是阶跃函数，即将神经元输入值与阈值的差值映射为输出值1或0，若差值大于零输出1，对应兴奋；若差值小于零则输出0，对应抑制。但阶跃函数不连续，不光滑，故在M-P神经元模型中，也采用Sigmoid函数来近似。将神...

转载 SVM 支持向量机

支持向量机支持向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadratic programming)的问题，也等价于正则化的合页损失函数的最小化问。支持向量机的学习...

原创 决策树

决策树基本概念特征选择常见算法连续值，缺失值处理优化方法基本概念分类决策树模型是一种描述对实例进行分类的树形结构. 决策树由结点和有向边组成. 结点有两种类型: 内部结点和叶节点. 内部节点表示一个特征或属性, 叶节点表示一个类.决策树(Decision Tree),又称为判定树, 是一种以树结构(包括二叉树和多叉树)形式表达的预测分析模型.通过把实例从根节点排列到某个叶子...

原创 线性模型

线性模型线性回归对数几率回归线性判别线性回归给定由d个特征描述的示例

原创 模型调优和模型融合

#模型调优和模型融合模型调优的基本方法模型融合代码实践模型调优 模型调优，主要是寻找超参数，使得模型有更好的robust。网格搜索GridSearchCV，它存在的意义就是自动调参，只要把参数输进去，就能给出最优化的结果和参数。但是这个方法适合于小数据集，一旦数据的量级上去了，很难得出结果。这个时候就是需要动脑筋了。数据量比较大的时候可以使用一个快速调优的方法——坐标下降。它...

原创 LGBM算法

LGBM算法定义算法实践其他算法概念Light GBM is a gradient boosting framework that uses tree based learning algorithm。传统的GBDT算法存在的问题：如何减少训练数据常用的减少训练数据量的方式是down sample。例如在[5]中，权重小于阈值的数据会被过滤掉，SGB在每一轮迭代中用随机的子...

原创 LR与SVM 简单应用

LR与svm 简单应用算法定义基本实践算法定义LR算法逻辑回归logistic回归是一个分类算法，是一种广义的线性回归分析模型，它常用处理处理二元分类以及多元分类问题逻辑回归问题的起点：线性回归模型是表征了输出向量Y和输入样本矩阵x之间的线性关系，其线性关系的参数为θ，此时模型的预测是的值域为（-∞，+∞），并且我假设y 是连续的。如果最终我们需要y 的结果是一个有限集的，比如...

原创 Task2

Overview数据集数据基础认识常用评价指标数据集下载链接：http://ai.stanford.edu/~amaas/data/sentiment/数据数据集中包含四个文本文件：cnews.test.txt，cnews.train.txt，cnews.val.txt，cnews.vocab.txt，包括训练集，验证集，测试集，和词典 （基本的处理放在后面）常用的评价指标...

原创 词向量

词向量基本概念算法实践基本概念word2vec（word to vector），词向量是自然语言分词在词空间中的表示，词之间的距离代表了分词之间的相似性。词的基本表示方法有两种：one-hot表示方法词向量表示方法one-hot 编码的缺点：1 、无法表示出语义层面上词语之间的相关信息2、词汇表达的时候 ，无法表示，耗费空间。词向量 将每个词都映射到一个较短的词向...

原创 数据竞赛：TF-IDF算法

TF-DF 算法基本的概念和定义算法的步骤代码实践定义TF-IDF是Term Frequency - Inverse Document Frequency的缩写，即“词频-逆文本频率”。它由两部分组成，TF和IDF。TFIDF实际上是：TF * IDF，TF词频(Term Frequency)，IDF逆向文件频率(Inverse Document Frequency)。TF表示词...