机器学习
文章平均质量分 68
大羚羊
好好学习,天天向上
展开
-
《统计学习方法》学习笔记(3)—— 泛化误差
本文主要参考书籍为《统计学习方法》(李辉),第一章 统计学习方法概论。1.6 泛化能力1.6.1 泛化误差评价模型对未知数据的预测能力。现实中采用最多的办法是依赖于测试集。泛化误差就是模型的期望风险。1.6.2 泛化误差上届...原创 2018-06-20 21:57:41 · 854 阅读 · 0 评论 -
岭回归,Lasso——变量选择技术
本文内容主要基于炼数成金机器学习课程,并且LAR部分参考了文章Lasso算法学习。解决多重共线性和变量选择的两种方法——岭回归(L2范数)&Lasso(L1范数)。目录1 多元线性回归的最小二乘解2 岭回归3 LASSO4 LASSO的计算方法1 多元线性回归的最小二乘解Q(β)是残差的平方和的向量化表示,求偏导后得到的解为最小二乘估计; 6.22式中矩...原创 2018-07-07 20:24:22 · 22059 阅读 · 2 评论 -
几种常用激活函数
本文转载自:点击打开链接1. sigmod函数函数公式和图表如下图 在sigmod函数中我们可以看到,其输出是在(0,1)这个开区间内,这点很有意思,可以联想到概率,但是严格意义上讲,不要当成概率。sigmod函数曾经是比较流行的,它可以想象成一个神经元的放电率,在中间斜率比较大的地方是神经元的敏感区,在两边斜率很平缓的地方是神经元的抑制区。当然,流行也是曾经流行,这说明函数本身是有一定的缺陷的。...转载 2018-07-07 21:19:55 · 1284 阅读 · 0 评论 -
模式识别与机器学习 Pattern Recognition and Machine Learning 学习总结
这篇文章是我复习KTH课程Pattern Recognition and Machine Learning时的学习笔记,主要的参考资料为该课程课本。有可能会出现图片打不开的情况,翻墙会解决这个问题目录Chapter 1△Decision&Discriminant Function△GMMChapter 3 Bayesian Pattern Classificat...原创 2018-07-21 12:15:46 · 4546 阅读 · 2 评论 -
机器学习专项练习
题目部分来自牛客网的专项练习,解答部分有的参考了网友们的评论。也有一部分题目来自知乎专栏BAT机器学习面试1000题。这是一篇查漏补缺的帖子,所以只放了一些我不熟悉的知识点,或者是做错的题目。贝叶斯假定某同学使用Naive Bayesian(NB)分类模型时,不小心将训练数据的两个维度搞重复了,那么关于NB的说法中正确的是:A. 这个被重复的特征在模型中的决定作用会被加强...原创 2018-08-05 10:52:24 · 750 阅读 · 0 评论 -
机器学习中的正则化技术L0,L1与L2范数
本文转载自https://blog.csdn.net/weiyongle1996/article/details/78161512。使用机器学习算法过程中,如果太过于追求准确率,就可能会造成过拟合。使用正则化技术可以在一定程度上防止过拟合。首先来回顾一下过拟合的概念。过拟合简单来说就是对于当前的训练数据拟合程度过高以至于模型失去了泛化能力。下面是一个房屋预测的例子:左侧的图是欠...转载 2018-08-05 23:22:40 · 505 阅读 · 0 评论 -
Black Box Machine Learning学习笔记
本文为Bloomberg的第一课,是100天机器学习挑战的Day15学习内容。100天机器学习挑战汇总文章链接在这儿。目录1 ML1.1 什么是ML1.2 ML问题分类2 Elements of the ML Pipeline3 Evaluating a Prediction Function——损失函数4 Other Sources of Test ≠ Dep...原创 2018-08-14 10:26:50 · 1305 阅读 · 0 评论 -
Logistic Regression — Detailed Overview
文章转载自链接。Logistic Regression — Detailed OverviewFigure 1: Logistic Regression Model (Source:http://dataaspirant.com/2017/03/02/how-logistic-regression-model-works/) Logistic Regression was ...转载 2018-08-07 23:16:56 · 455 阅读 · 0 评论 -
深入理解朴素贝叶斯(Naive Bayes)
文章转载自:https://blog.csdn.net/li8zi8fa/article/details/76176597朴素贝叶斯是经典的机器学习算法之一,也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单,也很容易实现,多用于文本分类,比如垃圾邮件过滤。该算法虽然简单,但是由于笔者不常用,总是看过即忘,这是写这篇博文的初衷。当然,更大的动力来在于跟大家交流,有论述不妥的地方欢迎指正...转载 2018-08-12 22:39:55 · 31154 阅读 · 7 评论 -
一些机器学习相关文章的收集(持续更新)
这是一个汇总链接,收录一下难以搬运但是又想读or已读的文章。总结类文章 机器学习算法地图 On-going 机器学习算法 svm损失函数 SVM和RVM对比 SVM的两个参数C和gamma √ 通俗理解kaggle比赛大杀器xgboost 深度学习/神经网络 深度学习防止过拟合的方法 ...原创 2018-08-13 23:45:53 · 315 阅读 · 0 评论 -
激活函数总结
1 Sigmoid将输出值压缩到0,1之间。(逻辑回归问题用到)2 Relu在全连接网络中,一般的SGD的模型只有一层WX+b,现在需要使用一个RELU作为中间的隐藏层,连接两个WX+b,仍然只需要修改Graph计算单元为:不同relu函数的区分主要在负数段:3 Softmaxsoftmax一般用于多分类问题,其公式如下:假设我们有一个数组,V,Vi表示...原创 2018-08-16 22:32:39 · 211 阅读 · 0 评论 -
广义线性回归
本文转载自https://www.cnblogs.com/sumai/p/5240170.html。广义线性模型(Generalized Linear Model)http://www.cnblogs.com/sumai1.指数分布族 我们在建模的时候,关心的目标变量Y可能服从很多种分布。像线性回归,我们会假设目标变量Y服从正态分布,而逻辑回归,则假设服从伯努利分布。在广义线性模型的理论框架中...转载 2018-07-07 18:54:31 · 5774 阅读 · 0 评论 -
线性回归与逻辑回归
本文内容主要基于炼数成金机器学习课程+逻辑回归课程。也可以配合这篇文章(CS229学习笔记)进行学习。目录1 回归问题2 虚拟变量3 回归诊断3.1 发现离群值3.2 判断线性假设是否合理3.3 误差是否满足独立、等方差、正态分布?3.4 多重共线性4 广义线性回归5 逻辑回归问题5.1 Sigmoid函数5.2 损失函数5.3 梯度下降...原创 2018-07-07 11:14:46 · 630 阅读 · 0 评论 -
《统计学习方法》学习笔记(1)—— 统计学习三要素
本文主要参考书籍为《统计学习方法》(李辉),第一章 统计学习方法概论。目录1.1 统计学习1.3 统计学习三要素——模型、策略、算法1.3.1 模型——所要学习的条件概率分布或决策函数1.3.2 策略1.3.2.1 损失函数(loss function)/ 代价函数(cost function)1.3.2.2 风险函数(risk function)/ 期望损失(expe...原创 2018-06-18 17:44:53 · 1388 阅读 · 0 评论 -
机器学习岗位面试常用知识点总结
本文是一篇汇总文,具体内容可以参考每一条后面的链接:逻辑回归 Logistic Regression (链接)KNN(链接)贝叶斯(链接)决策树与随机森林(链接)SVM(链接上、下)正则项L0、L1、L2的作用(链接)RFGBDxgboostk-meansadboost排序(链接)GANEMMCMCLDAPCA时间序列协同过滤...原创 2018-06-18 17:48:02 · 360 阅读 · 0 评论 -
贝叶斯分类器
本文内容主要基于炼数成金机器学习课程。转载 2018-07-08 16:06:32 · 269 阅读 · 0 评论 -
《统计学习方法》学习笔记(2)——模型评估与模型选择
本文主要参考书籍为《统计学习方法》(李辉),第一章 统计学习方法概论。目录1.4 模型评估与模型选择1.4.1 训练误差&测试误差1.4.2 过拟合与模型选择1.5 正则化与交叉验证——防止过拟合1.5.1 正则化1.5.2 交叉验证1.5.2.1 数据集样本数据充足时1.5.2.2 数据集样本数据不充足时——交叉验证1.4 模型评估与模型选择1...原创 2018-06-19 22:52:22 · 578 阅读 · 0 评论 -
支持向量机SVM原理(上)
本文主要基于youtube上的视频(炼数成金机器学习课程):https://www.youtube.com/watch?v=Cz144VkaRUQ支持向量机(support vector machine)可以完成很多线性分类器达不到的目标:比如当分类的曲线是非线性时。SVM的思想很直观,但是细节非常的复杂,内容涉及凸分析函数、核函数、神经网络等领域。本文思路:SVM -> 凸优化...原创 2018-06-26 21:15:55 · 1058 阅读 · 0 评论 -
支持向量机SVM原理(下)
本文主要基于youtube上的视频(炼数成金机器学习课程):https://www.youtube.com/watch?v=Cz144VkaRUQ本文是文章支持向量机SVM原理(上)的下篇。目录1 线性不可分系统的SVM2 对偶问题的解法3 映射到高位空间 1 线性不可分系统的SVM松弛变量:被分错的点到支持平面的距离。(多了上界C)2 对偶问题的解法...原创 2018-07-05 21:20:50 · 442 阅读 · 0 评论 -
SMO优化算法(Sequential minimal optimization)
本文转载自 http://www.cnblogs.com/jerrylead/archive/2011/03/18/1988419.html。SMO算法由Microsoft Research的John C. Platt在1998年提出,并成为最快的二次规划优化算法,特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimizati...转载 2018-07-05 21:24:17 · 377 阅读 · 0 评论 -
决策树和随机森林
△信息增益的计算方法原创 2018-07-05 21:35:40 · 209 阅读 · 0 评论 -
KNN(k-nearest neighbor的缩写)最近邻算法原理详解
本文转载自:https://blog.csdn.net/qq_36330643/article/details/77532161k-最近邻算法是基于实例的学习方法中最基本的,先介绍基于实例学习的相关概念。基于实例的学习已知一系列的训练样例,很多学习方法为目标函数建立起明确的一般化描述;但与此不同,基于实例的学习方法只是简单地把训练样例存储起来。 从这些实例中泛化的工作被推迟到必须分类新的实例时。每...转载 2018-07-05 23:06:48 · 2819 阅读 · 0 评论 -
支持向量机SVM 核函数
本文转载自:https://www.cnblogs.com/jerrylead/archive/2011/03/18/1988406.html考虑我们最初在“线性回归”中提出的问题,特征是房子的面积x,这里的x是实数,结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线,那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维,然后寻找特征和结果之间的模型。我们...转载 2018-07-05 23:24:47 · 451 阅读 · 0 评论 -
几个有趣的AI项目
没事的时候可以玩一玩。。1. 从零开始造一个“智障”聊天机器人--基于TensorFlow,seq2seq模型2. Deep Learning with Intel原创 2018-11-01 22:45:03 · 4785 阅读 · 0 评论