机器学习算法
黑桃5200
这个作者很懒,什么都没留下…
展开
-
【机器学习面试题】——循环神经网络(RNN)
文章目录1. 为什么需要RNN?2. 简要介绍RNN的基本结构单层网络结构经典RNN结构RNN的拓展结构3. CNN和RNN的区别 ?4. RNNs和FNNs(前馈神经网络)有什么区别?5. RNNs训练和传统ANN训练异同点?6. 为什么RNN 训练的时候Loss波动很大7. 描述RNN的前向输出流程8. RNN中为什么会出现梯度消失,如何解决?9. LSTM核心思想图解10. LSTMs与GR...原创 2020-03-19 23:42:34 · 5835 阅读 · 0 评论 -
【机器学习面试题】——BERT
1. BERT的基本原理是什么?BERT可以看成一个自编码的语言模型,主要用两个任务训练该模型。MLM(Masked LM)输入一句话的时候,随机地选一些要预测的词,然后用一个特殊的符号**[MASK]来代替它们,之后让模型根据所给的标签去学习**这些地方该填的词NSP(Next Sentence Prediction)在双向语言模型的基础上额外增加了一个句子级别的连续性预测任...原创 2020-03-17 22:58:58 · 1990 阅读 · 0 评论 -
【机器学习面试题】—— 卷积神经网络
文章目录1. 卷积神经网络的结构输入层卷积层激活层池化层全连接层2. 卷积在图像中有什么直观作用3. 卷积层有哪些基本参数?4. 卷积核有什么类型?5. 二维卷积与三维卷积有什么区别?二维卷积三维卷积6. 有哪些池化方法?池化原理池化类型7. 1*1卷积的作用?8. 卷积层和池化层有什么区别?9. 卷积核是否一定越大越好?10. 每层卷积是否只能用一种尺寸的卷积核?11. 怎样才能减少卷积层参数量...原创 2020-03-07 21:58:12 · 10102 阅读 · 0 评论 -
【机器学习面试题】——w2v+tf-idf
Word2Vector1.什么是词嵌入模型?把词映射为实数域向量的技术也叫词嵌⼊2.介绍一下Word2Vec谷歌2013年提出的Word2Vec是目前最常用的词嵌入模型之一。Word2Vec实际是一种浅层的神经网络模型,它有两种网络结构,分别是连续词袋(Continues Bag of Words)和跳字(Skip-gram)模型。3.介绍CBOWCBOW,全称Continuous B...原创 2020-03-05 10:26:46 · 2009 阅读 · 0 评论 -
【机器学习面试题】——Apriori
协同过滤推荐有哪些类型基于用户(user-based)的协同过滤基于用户(user-based)的协同过滤主要考虑的是用户和用户之间的相似度,只要找出相似用户喜欢的物品,并预测目标用户对对应物品的评分,就可以找到评分最高的若干个物品推荐给用户。基于项目(item-based)的协同过滤基于项目(item-based)的协同过滤和基于用户的协同过滤类似,只不过这时我们转向找到物品和物...原创 2020-01-15 10:05:42 · 677 阅读 · 0 评论 -
【机器学习面试题】——XGBoost
文章目录1. RFRFRF和GBDTGBDTGBDT的区别2. 比较LRLRLR和GBDTGBDTGBDT,说说什么情景下GBDTGBDTGBDT不如LRLRLR3. 简单介绍一下XGBoostXGBoostXGBoost4. XGBoostXGBoostXGBoost与GBDTGBDTGBDT有什么不同5. XGBoostXGBoostXGBoost为什么可以并行训练6. XGBoostXGBo...原创 2020-01-09 15:54:49 · 855 阅读 · 0 评论 -
【机器学习面试题】——梯度下降
1. 机器学习中为什么需要梯度下降梯度下降的作用:梯度下降是迭代法的一种,可以用于求解最小二乘问题。在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。如果我们需要求解损失函数的最大值,可通过梯度上升法来迭代。梯度下降法和梯度上升法可相互转换。2. 梯度下降法缺点缺点:靠近极小值时收敛速度减慢。直线搜索时可能会产生一些问题。可能...原创 2020-01-05 19:32:26 · 3331 阅读 · 0 评论 -
【机器学习面试题】——朴素贝叶斯
文章目录1.简述朴素贝叶斯算法原理和工作流程2. 条件概率、先验概率、后验概率、联合概率、贝叶斯公式的概念3.为什么朴素贝叶斯如此“朴素”?4.什么是贝叶斯决策理论?5.朴素贝叶斯算法的前提假设是什么?6.为什么属性独立性假设在实际情况中很难成立,但朴素贝叶斯仍能取得较好的效果?7.什么是朴素贝叶斯中的零概率问题?如何解决?8.朴素贝叶斯中概率计算的下溢问题如何解决?9.当数据的属性是连续型变量时...原创 2020-01-04 21:28:55 · 1885 阅读 · 0 评论 -
【机器学习面试题】——线性回归+逻辑回归
文章目录线性回归1. 简单介绍一下线性回归。2. 线性回归的假设函数是什么形式?3. 线性回归的代价(损失)函数是什么形式?4. 求解线性回归的代价函数的方法有哪些:6. 简述岭回归与Lasso回归以及使用场景。7. 线性回归要求因变量服从正态分布吗?逻辑回归1. 简单介绍一下逻辑回归2. 简单介绍一下Sigmoid函数3. 逻辑回归的损失函数是什么4.可以进行多分类吗?5.逻辑回归的优缺点6. ...原创 2020-01-01 21:35:15 · 2234 阅读 · 1 评论 -
【机器学习面试题】——决策树
文章目录1. 简单介绍决策树算法2. 决策树和条件概率分布的关系?3. 信息增益比相对信息增益有什么好处?4. ID3算法—>C4.5算法—> CART算法5. 决策树的缺失值是怎么处理的6. 决策树的目标函数是什么?7. 决策树怎么处理连续性特征?8. 决策树怎么防止过拟合?9. 如果特征很多,决策树中最后没有用到的特征一定是无用吗?10.决策树的优缺点?11. 树形结构为什么不需要...原创 2019-12-30 10:42:29 · 1087 阅读 · 0 评论 -
【机器学习面试题】——随机森林+AdaBoost
文章目录1. 简单介绍随机森林2. 随机森林的随机性体现在哪里?3. 随机森林为什么不容易过拟合?4. 为什么不用全样本训练?5. 为什么要随机特征?6. RF与 GBDT 的区别?7. RF为什么比Bagging效率高?8. 你已经建了一个有10000棵树的随机森林模型。在得到0.00的训练误差后,你非常高兴。但是,验证错误是34.23。到底是怎么回事?你还没有训练好你的模型吗?9. 如何使用随...原创 2019-12-29 22:13:04 · 3784 阅读 · 1 评论 -
【机器学习面试题】——集成学习
文章目录1. 什么是集成学习算法?2. 集成学习主要有哪几种框架?3. 简单介绍一下bagging,常用bagging算法有哪些?4. 简单介绍一下boosting,常用boosting算法有哪些?5. boosting思想的数学表达式是什么?6. 简单介绍一下stacking,常用stacking算法有哪些?7. 你意识到你的模型受到低偏差和高方差问题的困扰,应该使用哪种算法来解决问题呢?为什么...原创 2019-12-28 21:53:21 · 1764 阅读 · 0 评论 -
手写字的识别——卷积神经网络
介绍数据集:MNIST手写数字集训练集:42,000个0-9手写数字的图像测试集:有28,000个无label样本每个图像的大小是28×28=784个像素目标:使用卷积神经网络识别图像是什么数字导入相关包# Python的内置垃圾收集。用来删除一些变量,并收集必要的空间来保存RAM。import gc # 用来生成随机数。import random as rd #用来检查运...原创 2019-04-14 22:45:12 · 1668 阅读 · 0 评论 -
手推SVM算法(含SMO证明)
函数间隔γ^=y(wTx+b)=yf(x)\hat{\gamma}=y\left(w^{T} x+b\right)=y f(x)γ^=y(wTx+b)=yf(x)几何间隔γ~=yγ^=γ^∥w∥=y(wTx+b)∥w∥\tilde{\gamma}=y \hat{\gamma}=\frac{\hat{\gamma}}{\|w\|} = \frac{y\left(w^{T} x+b\right...原创 2019-04-10 02:12:08 · 1775 阅读 · 0 评论 -
李宏毅《机器学习》——分类:概率生成模型
盒子抽球问题假设两个盒子,各装了5个球,还得知随机抽一个球,抽到的是盒子1的球的概率是P(B1)=2/3P(B_1) = 2/3P(B1)=2/3,是盒子2的球的概率是P(B2)=1/3P(B_2) = 1/3P(B2)=1/3。从盒子中蓝色球和绿色球的分配可以得到:在盒子1中随机抽一个球,是蓝色的概率为P(Blue∣B1)=4/5P(Blue|B_1) = 4/5P(Blue∣B1)=...原创 2019-03-16 10:18:12 · 369 阅读 · 0 评论 -
Datawhale《深度学习-NLP实践》Task3
文章目录1. 任务2. TF-IDF原理2.1 词频 (term frequency, TF)2.2 逆向文件频率 (inverse document frequency, IDF)2.3 TF-IDF3. 文本矩阵化,使用词袋模型,以TF-IDF特征值为权重。3.1 使用TfidfTransformer3.2 使用CountVectorizer4. 互信息的原理。4.1 点互信息PMI4.2 ...原创 2019-03-07 20:18:32 · 349 阅读 · 0 评论 -
Datawhale《深度学习-NLP实践》Task1
文章目录1. 任务2. IMDB数据集下载和探索3. THUCNews数据子集探索1. 导入包2. 读取文件3. 读取停用词4. 切分数据,并删除停用词5. 获取单词列表6. 提取特征 向量化4. 召回率、准确率、ROC曲线、AUC、PR曲线基本概念4.1 召回率 recall4.2 分类准确率 accuracy4.3 精确率Precision4.4 F1值4.5 混淆矩阵4.6 AUC4.7 R...原创 2019-03-06 21:42:50 · 484 阅读 · 1 评论 -
Datawhale《深度学习-NLP》预备任务
预备任务tensorflow安装推荐Anaconda(针对自己操作系统和位数下载对应版本);推荐用conda create创建对应的python环境(注:某些python版本可能不支持tensorflow);通过pip install来安装tensorflow。参考:tensorflow安装教程 http://www.tensorflownews.com/series/tensorfl...原创 2019-02-28 20:41:31 · 349 阅读 · 0 评论 -
数据处理——CountVectorizer、TfidfTransformer、TfidfVectorizer
1. CountVectorizer原理CountVectorizer是通过fit_transform函数将文本中的词语转换为词频矩阵1.1 举个栗子from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer, TfidfTransformer#导入包corpus = [ 'This i...原创 2019-01-28 20:10:04 · 2319 阅读 · 0 评论 -
数据处理——OneHotEncoder
文章目录1. 什么是OneHotEncoder2. 为什么使用OneHotEncoder来处理离散型特征?3. 不需要使用OneHotEncoder来处理的情况4. scikit-learn 中 OneHotEncoder 解析1. 什么是OneHotEncoderOne-Hot编码,又称为一位有效编码,主要是采用N位状态寄存器来对N个状态进行编码(每个特征值都是一个状态),每个状态都由他独立...原创 2019-01-27 19:03:03 · 2470 阅读 · 0 评论 -
机器学习面试题——逻辑回归
Q:逻辑回归在训练的过程当中,如果有很多的特征高度相关或者说有一个特征重复了很多遍,会造成怎样的影响如果在损失函数最终收敛的情况下,其实就算有很多特征高度相关也不会影响分类器的效果。 但是对特征本身来说的话,假设只有一个特征,在不考虑采样的情况下,你现在将它重复 N 遍。训练以后完以后,数据还是这么多,但是这个特征本身重复了 N 遍,实质上将原来的特征分成了 N 份,每一个特征都是原来特征权重值...原创 2018-12-07 16:16:44 · 1273 阅读 · 0 评论 -
线性回归知识点梳理
1. 机器学习的一些概念1.1 损失函数、代价函数、目标函数1.2 监督学习 无监督学习1.3 正则化1.4 泛化能力1.5 过拟合1.6评价函数2. 线性回归的原理3. 损失函数推导MSE MAE…一元到多元4. 损失函数求解梯度下降法牛顿法拟牛顿法5. 广义线性回归多项式线性回归 逻辑回归 (简要描述)6. 正则化岭回归 lasso回归 弹性网络...原创 2018-12-07 14:31:11 · 661 阅读 · 0 评论 -
决策树面试总结
1、什么是决策树?首先决策树是一种树结构,并且满足if-then规则,此外它是定义在特征空间与类空间上的条件概率分布,决策树实际上是将特征空间划分成了互不相交的单元,每个从根到叶的路径对应着一个单元。决策树所表示的条件概率分布由各个单元给定条件下类的条件概率分布组成。实际中,哪个类别有较高的条件概率,就把该单元中的实例强行划分为该类别。2、和其他模型比,它的优点?模型具有可解释性,容易向业...原创 2018-12-13 20:22:04 · 832 阅读 · 0 评论 -
LinearRegression
线性回归算法解决回归问题思想简单,容易实现许多强大的非线性模型的基础结果具有很好的可解释性蕴含机器学习中很多重要的思想样本特征只有一个的线性回归问题,为简单线性回归。样本特征有多个的线性回归问题,为多元线性回归。(由此可见,线性并不代表直线)线性回归算法将无数的训练集数据放在一个坐标系中,以坐标系的一个维度作为label,其他维度作为特征,最终会发现他们是沿着一条直线分布。线...原创 2018-12-06 10:29:20 · 1233 阅读 · 0 评论 -
机器学习算法——决策树
目录1. 信息论基础2. 决策树ID3算法2.1 ID3算法原理2.2 ID3算法的不足3. 决策树C4.5算法3.1 C4.5算法原理3.2 C4.5算法的不足4. CART分类树算法1. 信息论基础熵  ⟹  联合熵  ⟹&am原创 2018-12-05 11:12:50 · 402 阅读 · 0 评论 -
机器学习算法——SVM(支持向量机)
@TOCSVM简介逻辑回归函数的不足:泛化能力不够强。通过最小化损失函数找到一个决策边界,通过决策边界来进行分类。没有考虑到位置数据的情况。SVM算法也是找到决策边界, 但是SVM让这条决策边界离两边的数据尽可能的远,这样不仅对数据进行了一个横好的划分,而且还考虑了未来的泛化能力。两个类别的数据点都尽可能的远实际上是这两个类别离决策边界最近的这些点离决策边界也尽肯能的远。其中,最近的这些点...原创 2018-12-03 10:05:32 · 629 阅读 · 0 评论 -
损失函数正则化方法
正则化方法防止过拟合,提高模型的泛化能力原创 2018-10-15 15:15:01 · 10704 阅读 · 4 评论 -
达观杯比赛总结
目录比赛内容评分规则数据集原始数据大小数据处理特征工程word2vectordoc2vectorhashtfidfcountvector模型训练LRLGRFSVMNBXGBKNN模型融合概率文件融合分类结果融合比赛内容此次比赛,达观数据提供了一批长文本数据和分类信息,希望选手动用自己的智慧,结合当下最先进的NLP和人工智能技术,深入分析文本内在结构和语义信息,构建文本分类模型,实现精准分类。...原创 2018-10-18 15:03:02 · 639 阅读 · 0 评论 -
线性模型_类别不平衡问题
文章目录1. 类别不平衡问题2. 类别不平衡的影响3. 处理不平衡数据集的方法3.1 数据层面的方法:重采样技术3.1.1 随机欠采样(Random Under-Sampling)3.1.2 随机过采样(Random Over-Sampling)3.1.3 基于聚类的过采样(Cluster-Based Over Sampling)3.1.4 信息性过采样:合成少数类过采样技术(SMOTE)3.15...原创 2018-12-09 22:27:29 · 487 阅读 · 0 评论 -
机器学习——随机森林
1. 集成学习1.1 概述集成学习并不是一个单独的机器学习算法,它是通过构建并结合多个机器学习器来完成学习任务。使用多个个体学习器构建一个强学习器,也就是我们常说的“三个臭皮匠,顶个诸葛亮”。集成学习可以用于分类问题集成,回归问题集成,特征选取集成,异常点检测集成等等1.2 个体学习器个体学习器有两种:同质:比如都是决策树个体学习器,或者都是神经网络个体学习器。异质:比如对训练集采用...原创 2018-12-16 09:56:34 · 905 阅读 · 2 评论 -
SVM公式推导
第6章 支持向量机6.1 间隔与支持向量超平面的方程可以表示为:(6.1)wTx+b=0\tag{6.1} w^Tx+b =0wTx+b=0(6.1)推导6.1样本数据集:(x10,x20,x30,…,xm0x11,x21,x31,…,xm1x12,x22,x32,…,xm2x13,x23,x33,…,xm3…x1n,x2n,x3n,…,xmn)其中xnm表示第m个样本的第n个特征,这...原创 2019-01-16 16:46:17 · 792 阅读 · 1 评论 -
机器学习——LightGBM
1. LightGBM概述LightGBM(Light Gradient Boosting Machine)是一个基于决策树算法的快速的、分布式的、高性能 gradient boosting(GBDT、GBRT、GBM 或 MART)框架,可被用于排行、分类以及其他许多机器学习任务中。2. LightGBM的起源GBDT 虽然是个强力的模型,但却有着一个致命的缺陷,不能用类似 mini ba...原创 2019-01-02 21:28:14 · 4402 阅读 · 0 评论 -
机器学习算法——Adaboost
输入:训练数据集,弱学习算法,弱分类器迭代次数K输出:最终分类器初始化训练数据的权值分布使用具有权重DkD_kDk的样本集来训练数据,得到弱分类器Gk(x)G_k(x)Gk(x)计算分类误差率,找到分类误差率最低的时候的阈值vvv计算Gk(x)的分类误差率计算弱分类器的系数更新样本集的权重分布根据阈值vvv在分类迭代…直到分类器上的误分类点为0强分类器...原创 2018-12-25 22:57:42 · 402 阅读 · 0 评论 -
SVM面试问题汇总
SVM的软间隔硬间隔区别硬间隔:完全分类准确,其损失函数不存在;其损失值为0;只要找出两个异类正中间的那个平面;软间隔:允许一定量的样本分类错误;优化函数包括两个部分,一部分是点到平面的间隔距离,一部分是误分类的损失个数;C是惩罚系数,误分类个数在优化函数中的权重值;权重值越大,误分类的损失惩罚的越厉害。误分类的损失函数可分为hinge损失,指数损失,对率损失。而经常使用的或者说默认的是使用...原创 2019-01-05 10:49:21 · 6227 阅读 · 1 评论 -
LeetCode(python3)——26. 删除排序数组中的重复项
题目描述给定一个排序数组,你需要在原地删除重复出现的元素,使得每个元素只出现一次,返回移除后数组的新长度。不要使用额外的数组空间,你必须在原地修改输入数组并在使用 O(1) 额外空间的条件下完成。示例 1:给定数组 nums = [1,1,2], 函数应该返回新的长度 2, 并且原数组 nums 的前两个元素被修改为 1, 2。 你不需要考虑数组中超出新长度后面的元素。示例 2...原创 2018-12-22 20:40:34 · 249 阅读 · 0 评论 -
GBDT、XGB、Adaboost面试汇总
文章目录1. xgboost相比传统gbdt有何不同?2. xgboost为什么快?3. xgboost如何支持并行?1. xgboost相比传统gbdt有何不同?传统GBDT以CART作为基分类器,xgboost还支持线性分类器,这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。传统GBDT在优化时只用到一阶导数信息,xgboost...原创 2018-12-27 21:25:24 · 916 阅读 · 0 评论 -
机器学习——梯度提升树(GBDT)
1. GBDT概述GBDT采用的是Boosting集成技术,使用了前向分布算法,但是弱学习器限定只能使用CART回归树模型前一轮迭代得到的强学习器是ft−1(x)f_{t−1}(x)ft−1(x),损失函数是L(y,ft−1(x))L(y,f_{t−1}(x))L(y,ft−1(x)),本轮迭代的目标是找到一个CART回归树模型的弱学习器ht(x)h_t(x)ht(x),让本轮的损失...原创 2018-12-26 23:02:33 · 715 阅读 · 0 评论 -
机器学习算法——逻辑回归
机器学习算法——逻辑回归逻辑回归简介逻辑回归(LogisticRegression)也叫对数几率回归机器学习算法可以分为回归算法和分类算法,逻辑回归算法并不是回归算法,仅为在线性回归的基础上,套用了一个逻辑函数 ,用来解决分类问题,因此将它归为分类算法。线性回归的模型是求出真实值Y和输入样本的特征X之间的线性关系系数θ\thetaθ,最终求得线性回归模型Y=XθY=X\thetaY=Xθ....原创 2018-10-11 17:27:28 · 589 阅读 · 0 评论