- 博客(38)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 最优化导论第四版课后习题——第一章：证明方法与相关记法
1.1 建立命题“（非B）⇒\Rightarrow⇒（非A）”的真值表，证明该命题等价于命题“A⇒\Rightarrow⇒B"A⇒\Rightarrow⇒B：非A或B（非B）⇒\Rightarrow⇒（非A）：B或非AABA⇒\Rightarrow⇒B（非B）⇒\Rightarrow⇒（非A）真真真真真假假假假真真真假假真...
2019-02-02 17:36:27
4444
1
原创 目标检测算法整理（简洁版）
目录目录完整版链接区域提名方法有区域提名算法OverFeat(2013)R-CNNFast R-CNNFster R-CNNR-FCN无区域提名算法YOLOSSD完整版链接如果想要详细的了解深度学习在目标检测上的应用，可以戳 https://www.cnblogs.com/gujianhan/p/6035514.htmlhttps...
2018-07-26 10:13:48
2367
转载 理解dropout
文章转自http://blog.csdn.net/stdcoutzyx/article/details/49022443 理解dropout注意：图片都在github上放着，如果刷不开的话，可以考虑翻墙。转载请注明：http://blog.csdn.net/stdcoutzyx/article/details/49...
2018-03-14 10:31:28
302
原创 sklearn的机器学习之路：支持向量机（SVM）
1. 基础概念什么是SVM：支持向量机就是使用一条直线（二维）或超平面（多维）将数据分成两类，同时保证离超平面最近的点与超平面的间隔尽可能小。 支持向量：离超平面最近的几个训练样本，且满足 间隔（margin）：分类不同的支持向量之间的距离γ=2∥w∥γ=2‖w‖\gamma = \frac{2}{\|w\|}。 对偶问题：在求解分类器时过于复杂，为了简化问题，我们将目标函数和约...
2018-02-20 23:09:22
5012
原创 sklearn的机器学习之路：逻辑回归
1. 基础概念sigmoid函数：处理二分类问题时，我们最后需要输出分类结果[0,1]，而回归得到的是一个(−∞,+∞)(−∞,+∞)( -\infty , +\infty )的数，因此我们需要使用sigmoid函数。函数定义： 其图像为： 通过输入的x而转变成(0,1)的数，此处x应该为预测的值，即c0x0+c1x1+...+cnxnc0x0+c1x1+...+cnxnc_0x_...
2018-02-18 22:43:11
1753
原创 sklearn的机器学习之路：朴素贝叶斯
1. 基础概念什么是朴素贝叶斯：贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。贝叶斯公式：P(Y|X)=P(X|Y)P(Y)P(X)P(Y|X)=P(X|Y)P(Y)P(X)P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)} X:特征向量 Y:类别先验概率P(X)P(X)...
2018-02-13 16:48:10
14312
1
原创 sklearn的机器学习之路：决策树
1. 基础概念什么是决策树：决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。构建决策树的过程：过程就是选择一类较为重要的特征作为节点，并根据其不同的值构建分支，接着继续选择重要的特征，直到到达叶子节点，将叶子节点存放的类别作为决策结果。属性度量方法：...
2018-02-10 00:20:41
826
原创 sklearn的机器学习之路：k-近邻算法（KNN）
1.什么是K近邻通俗的将，如果我是一个样本，KNN算法就是找最近的几个样本，看看它们都属于什么类别，然后选择占比最大的类别作为自己的类别。KNN的全称是k-NearestNeighbor，K就是我们要寻找的样本数量，K=1时就是找最近的样本，然后自己的类别就是那个样本的类别。 KNN中还要计算自己与其他样本的距离，这里就有多做距离计算方法（取决于参数 p≥1p≥1p \ge 1）：曼哈...
2018-02-09 11:12:42
6803
转载 Pycharm用鼠标滚轮控制字体大小
Pycharm用鼠标滚轮控制字体大小 一、pycharm字体放大的设置File —> setting —> Keymap —>在搜寻框中输入：increase —> Increase Font Size（双击） —> 在弹出的对话框中选择Add Mouse Shortcut 在弹出的对话框中同时按住ctrl键和鼠
2018-02-07 21:13:29
2792
原创 林轩田机器学习技法笔记2：Dual Support Vector Machine
0. 前言上一节课我们介绍了支持向量机、margin、怎么解支持向量机等。这一节课我们将会研究支持向量机的对偶问题。1. Motivation of Dual SVM上一节课中我们讲到，求解线性支持向量机的QP问题中变量数量为d^+1" role="presentation" style="position: relative;">dˆ+1d^+1\widehat{d}+
2018-02-06 19:40:22
784
原创 林轩田机器学习技法笔记1：Liner Support Vector Machine(SVM)
0. 前言机器学习技法第一课，机器学习技法将会有16课。第一课将会介绍线性支持向量机。1. Large-Margin Separating Hyperplane我们之前使用PLA、Pocket、线性分类等方法时，会得到不同的直线，他们都能得到正确的分类，比如说： 三条直线都是正确的，但是最好的直线是哪个呢？直观的看是第三个，因为在第三幅图中，样本点离直线比较远，看起来比较”安全“
2018-02-05 22:26:17
898
原创 林轩田机器学习基石笔记16：Three Learning Principles
0. 前言上一节课讲解了机器学习中提升分类器泛化能力的一种方法–Validation。即讲数据分成训练样本和测试样本，用训练样本训练分类器，用测试样本筛选分类器，最后得到再测试样本中性能最好的分类器。这一节课我们讲解机器学习中非常实用的三个“锦囊妙计”。1. Occam’s Razor奥卡姆剃刀定律（Occam’s Razor）：在选择模型的时候尽量选简单的，低阶的能用就别用高阶
2018-02-04 19:31:57
713
原创 林轩田机器学习基石笔记14：Validation
0. 前言之前的课程讲解了为了避免overfitting，可以使用regularization方法来解决。在之前的Ein" role="presentation" style="position: relative;">EinEinE_{in}上加上一个regularizer，生成Eaug" role="presentation" style="position: relative;">Eau
2018-02-04 12:07:43
851
原创 林轩田机器学习基石笔记14：Regularized
0. 前言上一课讲到了过拟合。什么是过拟合、过拟合什么时候发生、怎么处理过拟合等。其中有一种解决过拟合的方法是Regularized，这一节课我们将会讲解这种方法。1. Regularization Hypothesis我们知道，多阶多项式包含低阶多项式。 那么在高阶多项式中加入一些限定条件，使它近似为低阶多项式即可。这种函数近似曾被称之为不适定问题（ill-posed p
2018-02-02 23:18:55
346
原创 林轩田机器学习基石笔记13：Hazard of Overfitting
0. 前言之前的课程中讲到，在使用非线性分类器时，我们使用越高阶的特征转换，模型会更复杂，同时得到更高的VC维度。这节课中将会介绍这一行为导致机器学习中一个重要的问题：过拟合。1. What is Overfitting什么是过拟合，看一张图就明白了： 可以看到，目标函数是蓝色的线，一共有5个样本可供学习，我们使用一个复杂的分类器将5个样本学的很好，但是得到的结果和蓝色的差很多
2018-02-01 22:01:47
305
原创 林轩田机器学习基石心得12：Nonlinear Transformation
0. 前言上一节课中讲讲解了线性模型分类的几个问题，包括随机梯度下降、多分类问题的解决方法等。 但是之前讨论均是在数据线性可分的假设下，假如数据不是线性可分的怎么办？这一节我们讨论非线性问题。1. 二次假设：Quadratic Hypotheses之前在处理二分问题时，假设函数为：h(x)=sign(wTx)" role="presentation">h(x)=sign(wTx)
2018-01-31 22:15:12
267
原创 林轩田机器学习基石心得11：Linear Models for Classification
0. 前言本篇文字是个人对机器学习基石11课的一些总结。这节课主要讲解的是线性分类模型。1. Linear Models for Binary Classification几种线性模型的总结：线性分类：假设函数：h(x)=sign(wTx)" role="presentation" style="position: relative;">h(x)=sign(wTx)h(x)=
2018-01-30 21:13:00
276
原创 林轩田机器学习基石心得10：Logistic Regression
0. 前言这篇文章是我精简的总结了视频中第10课的内容，推荐另一篇笔记： http://blog.csdn.net/red_stone1/article/details/72229903这一节主要介绍的是逻辑回归分类器。1. Logistic Regression Problem逻辑回归问题：之前的课程中，我们需要的目标函数预测结果要么是+1/-1（二分类问题），或者是
2018-01-25 22:48:56
568
原创 林轩田机器学习基石心得9：Linear Regression
0. 前言该文章是本人观看视频后的一些心得，系统笔记请前往： http://blog.csdn.net/red_stone1/article/details/71599034这一节课主要介绍机器学习常用的一种算法：线性回归。1. 线性回归问题线性回归问题：当样本的标签属性与特征呈线性关系时候，预测出一条直线（对应一维）、一个平面（对应二维）或者更高维的超平面（y=WTXy=
2018-01-24 17:52:21
467
原创 林轩田机器学习基石心得8：Noise and Error
注：本文为博主观看视频后的心得与总结，详细笔记可戳： http://blog.csdn.net/red_stone1/article/details/715121860. 前言上一节课中讲解了VC唯及其意义，证明只要假设函数集的VC维是有限的，那么在样本足够的情况下机器学习就是可行的。这一节课中主要讲解数据中存在Noise时机器学习是否可行，及几种错误估计方法。1. Noise
2018-01-22 23:22:05
251
转载 如何快速转载CSDN中的博客
本文转载自http://blog.csdn.net/bolu1234/article/details/51867099，顺便练习下如何快速转载。 前言 对于喜欢逛CSDN的人来说，看别人的博客确实能够对自己有不小的提高，有时候看到特别好的博客想转载下载，但是不能
2018-01-22 21:06:42
146
原创 林轩田机器学习基石心得7：The VC Dimension
该文章为本人观看视频心得，详细笔记可前往： http://blog.csdn.net/red_stone1/article/details/711912320. 前言前一课中着重介绍了机器能够学习的条件并做了详细的推导和解释。机器学习可行需要满足两个条件： - Ein≈EoutE_{in} \approx E_{out} - Ein≈0E_{in} \approx 0 上次课引
2018-01-22 17:58:51
329
原创 林轩田机器学习基石心得6：Theory of Generalization
0. 前言该文章是本人观看视频后的一些心得，系统笔记请前往： http://blog.csdn.net/red_stone1/article/details/711229281. Restriction of Break Point影响成长函数mH(N)m_H(N)的两个因素： 样本数量NNbreak pointkk2. Bounding Function: Ba
2018-01-22 13:37:53
513
原创 林轩田机器学习基石心得5：Training versus Testing
前言之前发现 已经有不少的博主写过机器学习基石的笔记了，为了节省时间我将不再进行系统的总结，而是写一些自己的心得、感悟及稍总结下。如果要系统的学习，推荐看一个博主的文章： http://blog.csdn.net/red_stone1/article/details/711046541. Recap and Preview机器学习的两个核心任务：较强的泛化能力：Ein≈Eo
2018-01-22 11:32:25
314
原创 林轩田机器学习基石5笔记：训练和测试的不同
1. Recap and Preview（复习和预览 ）复习在第一节课中讲到，机器学习的目的是训练出分类器gg，使得gg与理想分类器ff近似，也就是分类器的实际错误率（在所有数据中的错误率）Eout(g)≈0E_{out}(g)\approx0。在第二节课中讲到，我们说无法办法在所有数据中的错误率近似0，但是我们可以使分类器在抽取的样本中错误率近似为0（Ein(g)≈0E_{in}
2018-01-17 19:32:19
419
原创 林轩田机器学习基石笔记4：机器学习的可行性
笔者处于学习阶段，有任何问题欢迎指正。0. 前言这一篇文章中我们将会对机器学习的可行性进行一次讨论，首先我们得明确一个分类器怎么才算是好的分类器呢？很简单，能准确分类的就是好分类器。但是事情并没有那么简单，如果您感到好奇就继续往下看吧。这里放一下我要讲解的大纲。 1. 引出问题：机器学习真的可行吗？我们前面说了，好的分类器能够精准的分类，但是什么才是精准的分类呢？我们看一
2018-01-15 19:00:23
420
原创 林轩田机器学习基石笔记3：机器学习分类
笔者正处于学习阶段，任何问题欢迎指正。0. 前言机器学习通过样本输出维度，输入维度，学习方法等可以分成许多类别，这篇文章主要屡一下这些关系，首先看一下我做的思维导图，下面我会对每一种类别进行介绍。 1. 根据输出空间分类输出空间YY是分类器通过输入特征得出的结果，根据输出空间机器学习可以分为四类。二分类问题：Y∈{1,2}Y\in\left\{1,2\right\}
2018-01-13 21:31:55
314
原创 林轩田机器学习基石笔记2：PLA算法
（注：笔者仍处于学习阶段，博客也是刚开始写，如有任何问题欢迎指正！）0. 机器学习简述机器学习的目的是通过假设函数g去近似目标函数f的过程。用一张图表示就是： 目标函数f：从特征向量XX映射到标签y的函数。训练集DD：一共有N个样本(我更喜欢用m表示样本数量)，每个样本的XX特征，y为标签。学习算法AA：机器学习要做的部分，训练假设函数g近似目标函数f。假设函数gg：我们通过
2018-01-13 10:50:48
663
1
原创 C++ primer 练习 - 13章：拷贝控制
C++ primer 练习 - 13章：拷贝控制部分内容参考博客：http://blog.csdn.net/misayaaaaa/article/details/53786215#comments13.1.1 节练习： 拷贝构造函数13.1拷贝构造函数：本身是一个构造函数，其参 数是一个自身类类型的引用，且任何额外参数皆有默认值。13.2这是一个类的拷贝构造函数声明，需要使用引用类型的参数进行初始化
2017-09-12 21:20:06
473
转载 c++智能指针和内置指针的转化
在使用智能指针的过程中踩得一些坑~做点总结以更好的理解智能指针普通指针转化为内置指针int* iPtr = new int(42);shared_ptr<int> p(iPtr);int a =10;shared_ptr<int> p(a);内置指针转化为普通指针int* pI = p.get();一些需要注意的地方1. 内置指针转智能指针void f(shared_ptr<int>
2017-09-08 10:16:10
3529
1
原创 顶层const和底层const的说明
const修饰符在修饰指针变量时候会有顶层const和底层const的区别，先看代码 int a=10;int b=20; int const *below = &a; int *const above = &a; cout<<below<<" "<<*below<<endl; //below=0x6afef4 *below=10 below =
2017-08-15 11:04:01
336
原创 c++ cin输入
一直有个疑问当使用while(cin >> val1)时是否会要求输入数据，是否会陷入死循环，因此做了如下实验。#include #includeusing namespace std;int main(){ int a,sum; sum=0; while(cin>>a) sum+=a; cout<<sum<<endl; s
2017-08-07 20:45:01
302
转载 c++ cout cerr clog的区别
c++ primer 第五版 对于cout，ceer，clog的定义如下：cout(ostream): object used to write to the standard output. Ordinarily used to write the output of a program. cerr(ostream): object tied to the standard error,
2017-08-07 11:29:57
839
转载 python 练习
（更新ing）在网上找到一篇python小练习的博客（http://blog.csdn.net/mtbaby/article/details/52937067），附上自己的练习结果，如有需要可以借鉴。1. 题目：有1、2、3、4个数字，能组成多少个互不相同且无重复数字的三位数？都是多少？"""有1、2、3、4个数字，能组成多少个互不相同且无重复数字的三位数？都是多少？"
2017-08-06 20:07:41
272
空空如也
如何生成一个幂指数大于2的无标度网络
2017-10-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人