qq_38829768的博客

两年制硕士，今年春季开始找暑期实习，只有一个项目，一个比赛，一段本科时大厂数据分析的实习经历，无论文，直到5月24才等来了阿里的意向书，按照时间顺序，写一下具体面试内容，我就是人菜要求多的典范，小厂看不上，简历都没投，大厂投了要不是简历挂要不就是一面挂，磕磕绊绊俩月了，终于有大厂收我了简历挂的厂：微软字节（后来发笔试通知了，但我没做）好未来搜狗美团（笔试做完取消面试了，也没人捞我）4.6 腾讯一面（挂）1、自我介绍（一般会详细问简历中第一个项目或者比赛（除非面试官有比较偏好的

《A Discourse-Aware Attention Model forAbstractive Summarization of Long Documents》论文笔记长文档生成式摘要的话语感知注意模型摘要Introduction模型如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导

深度学习中的正则化技术1、前言2、参数范数惩罚2.1L^2参数正则化2.2 L^1参数正则化Bagging和其他集成方法Dropoutbagging与dropout训练对比1、前言以增大训练误差为代价来减少测试误差，这些策略统称为正则化。2、参数范数惩罚我们讨论各种范数惩罚对模型的影响。在神经网络中，我们通常只对每一层仿射变换的权重做惩罚而不对偏置做正则惩罚。2.1L^2参数正则化最...

深度前馈网络1、前言2、实例XOR3、基于梯度的学习4、隐藏单元5、结构设计6、BP及其他微分算法7、历史小记1、前言2、实例XOR3、基于梯度的学习4、隐藏单元5、结构设计6、BP及其他微分算法7、历史小记...

统计学习方法-PageRank算法-读书笔记1、前言2、PageRank定义3、PageRank迭代算法3.1幂法3.2代数算法1、前言PageRank算法是图链接分析的代表算法，属于图数据上的无监督学习方法。算法的基本思想是在有向图上定义一个随机游走模型，即一阶马尔可夫链，描述随机游走者沿着有向图随机访问各个结点的行为。PageRank算法表示这个马尔可夫链的平稳分布。2、PageRa...

统计学习方法-潜在狄利克雷分配（LDA）-读书笔记1、前言2、狄利克雷分布3、潜在迪利克雷分配模型3.1LDA和PLSA3.2生成过程1、前言LDA是文本集合的生成概率模型。假设每个文本由话题的一个多项分布表示，每个话题由单词的一个多项分布表示，特别假设文本的话题分布的先验分布是狄利克雷分布，话题的单词分布的先验分布也是狄利克雷分布。LDA能更好解决过拟合现象。LDA模型是含有隐变量的概率图...

统计学习方法-马尔可夫链蒙特卡罗法-读书笔记1、前言2、蒙特卡罗法2.1随机抽样2.2树学期望估计2.3积分计算3、马尔可夫链3.1基本定义3.2连续状态马尔可夫链3.3马尔可夫链的性质4、马尔可夫链蒙特卡罗法4.2吉布斯抽样（Gibbs Sampling）1、前言蒙特卡罗法（也称为统计模拟方法），是通过从概率模型的随机抽样进行近似数据的计算方法。MCMC则是以马尔可夫链为概率模型的蒙特卡罗法...

统计学习方法-PLSA-读书笔记1、前言2、概率潜在语义分析模型2.1生成模型2.2共现模型3、概率潜在语义分析算法1、前言概率潜在语义分析，是一种利用概率生成模型对文本集合进行话题分析的无监督学习方法。模型的最大特点是用隐变量表示话题，整个模型表示文本生成话题，话题生成单词，从而得到单词-文本共现数据的过程。2、概率潜在语义分析模型2.1生成模型P(d)表示生成文本d的概率，P(z|d...

统计学习方法-LSA-读书笔记1、前言2、LSA2.1矩阵奇异值分解算法2.2非负矩阵分解算法1、前言文本数据挖掘中最简单的方法是利用向量空间模型（vector space model,VSM）,也就是但词向量空间模型，创造一个单词-文本矩阵，矩阵中的值通常采用单词在文本中出现的频数或权值表示。它是一个稀疏矩阵。权值通常采用单词频率-逆文本频率（TF-IDF）表示，定义为TFIDFij=t...

![在这里插入图片描述](https://img-blog.csdnimg.cn/20191115151另外一种方法

统计学习方法-聚类方法-读书笔记1、前言2、聚类的基本概念2.1相似度或距离2.2类或簇2.3类与类之间的距离3、层次聚类4、K均值聚类1、前言聚类事针对给定的样本，依据他们的特征和相似度或距离，将其归并到若干个类或簇的数据分析问题。聚类属于无监督学习。2、聚类的基本概念2.1相似度或距离聚类的核心概念是相似度或距离。①闵可夫斯基距离距离越大，相似度越小，距离越小，相似度越大。di...

转自条件随机场

统计学习方法-隐马尔可夫模型（HMM）-读书笔记1、前言2、隐马尔可夫模型2.1隐马尔科夫模型的定义2.2 HMM的两个假设3、HMM的三个基本问题3.1概率计算问题3.11直接计算法3.12前向算法3.13后向算法3.2学习算法3.21监督学习方法3.22无监督学习方法-Baum-Welch算法3.3预测算法3.31近似算法3.32维比特算法1、前言隐马尔科夫模型(hidden Markov...

统计学习方法-EM算法-读书笔记1、前言2、EM算法3、高斯混合模型(GMM)1、前言EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。每次迭代由两部分组成：E步，求期望；M步，求极大值，直至收敛。隐变量:不能被直接观察到，但是对系统的状态和能观察到的输出存在影响的一种变量。2、EM算法(1)选择参数的初始值θ(0)\theta(0)θ(0),开始迭...

统计学习方法-提升方法-读书笔记1、前言2、提升方法AdaBoost算法2.1AdaBoost算法2.2 前向分步算法3、提升树3.1二分类问题3.2回归问题3.3梯度提升(GBDT)1、前言提升(boosting)是一种常用的统计学习方法，是集成学习的一种。它通过改变训练样本的权重(概率分布)，学习多个弱分类器（基本分类器），并将这些分类器线性组合来构成一个强分类器提高分类性能。2、提升方...

统计学习方法-支持向量机-读书笔记1、前言2、线性可分支持向量机2.1线性可分支持向量机2.2 函数间隔2.3 几何间隔2.4 硬间隔最大化2.5 对偶算法2.6支持向量和间隔边界3、线性支持向量机3.1对偶函数3.2合页损失函数4、非线性支持向量机4.1 算法4.2常用核函数4.3 序列最小最优化（SMO）算法1、前言支持向量机(support vector machines,SVM)是一种...

统计学习方法-逻辑斯蒂回归与最大熵模型1、前言2、逻辑斯蒂回归模型2.1 逻辑斯蒂分布2.2 二项逻辑斯蒂回归模型2.3 模型参数估计2.4 多项逻辑斯蒂回归3、最大熵模型3.1 最大熵原理3.2 最大熵模型4、算法4.1 改进的迭代尺度法IIS4.2 拟牛顿法4.3 梯度下降法1、前言逻辑斯蒂回归（logistic regression）是统计学习中经典的分类方法。最大熵是概率模型学习的准则...

统计学习方法-决策树-读书笔记1、前言2、模型3、策略4、算法4.1特征选择4.11信息增益4.12 信息增益比4.2决策树生成4.21 ID3算法4.22 C4.5算法4.3 决策树的剪枝4.31剪枝算法4.4 CART算法4.41介绍4.42 回归树生成4.43 基尼指数4.44 分类树的生成4.45 CART剪枝5、问题1、前言决策树是一种基本的分类与回归方法。它可以认为是if-then...

1、前言朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。2、模型朴素贝叶斯法通过训练数据集学习联合概率分布p(x,y)，具体做法是学习先验概率分布p(y)与条件概率分布p(x,...