FC的博客

经过一段时间的酝酿，小白学AI系列也正是开始了！小编将从三个阶段和大家一起入门人工智能，掌握常用机器学习算法和数据分析技巧。小编专业为数据融合方向，也曾接触过机器学习，但由于人工智能本身就很庞大，小编也只是略懂一二，写过BP神经网络，看过MIT用强化学习进行无人机的控制，但都是浅尝辄止。小白学AI系列是一个入门机器学习系列，小编将和大家一起学习机器学习常用算法，由理论到实践，由浅入深，其中也会穿插...

支持向量机SVM(Support Vector Machine)实际上是应用于二分类的一个分类器,其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。这里不对整个过程进行推导,因为看了很多博客,有几篇大佬的博客写的非常清晰,这里只贴出代码和自己写的代码注释.希尔伯特空间（Hilbert Space）支持向量机通俗导论（理解S...

Logistic回归所谓回归,就是给一组数据,构建一个多项式对整个数据进行拟合.建立多项式f=θ0x0+θ1x1+⋯+θnxn=θTXf=θ0x0+θ1x1+⋯+θnxn=θTXf=\theta_0x_0+\theta_1x_1+\cdots+\theta_nx_n=\theta^TX.sigmod函数sigmod函数也是一种阶跃函数,为什么经常能看见这个函数在分类问题中经常见到,...

元算法元算法是对其他算法进行组合的一种方法,其背后的思路就是组合多个专家的经验来得到最终的结论,类似于我们的投票.而提升方法是其中最常用的方法,在分类问题中,它通过改变训练样本的权重,学习多个分类器,并将这些这些分类器进行线性组合.弱分类器和强分类器关于AdaBoost方法,相比于SVM的大量推导,它显得更为简单一点,具体的推导,这里有一些个人认为非常好理解的推导: AdaB...

KNN算法是基本的机器学习方法,其原理很简单:如果一个实例在特征空间中的K个最相似（即特征空间中最近邻）的实例中的大多数属于某一个类别，则该实例也属于这个类别。 如下图所示: 有两种类型的样本数据，一类是蓝色的正方形，另一类是红色的三角形，中间绿色的圆形是待分类数据.如果K=3，那么离绿色点最近的有2个红色的三角形和1个蓝色的正方形，这三个点进行投票，于是绿色的待分类点就属于红色的三角形。而...

什么是决策树决策树的概念很好理解,因为它更类似人的思维进行分类,可视化分类规则,如下图所示,就是一个简单的决策树: 我们根据礼物的不同的特征来进行划分,最终可预测出我们是否喜欢这个礼物.树模型的优点是显而易见的:计算复杂度不高,输出结果易于理解,对中间缺失值不敏感,可用于非线性的预测.当然,树模型由于过度依赖特征来进行划分,所以也很可能产生过度匹配的问题.决策树的ID3算法《...

朴素贝叶斯贝叶斯分类算法是一类基于贝叶斯定理的分类算法.朴素贝叶斯是贝叶斯算法中最简单的一种,也是常见的机器学习方法之一,它是基于概率的分类算法.贝叶斯定理贝叶斯定理可用以下公式表达: P(A|B)=P(B|A)P(A)P(B)P(A|B)=P(B|A)P(A)P(B)P(A|B)=\frac{P(B|A)P(A)}{P(B)} 其中:P(A|B)P(A|B)P(A|B)...

常微分方程首先理解一下什么是常微分方程,简单的说就是只有一个未知数的微分方程,具体定义如下: 凡含有参数，未知函数和未知函数导数 (或微分) 的方程，称为微分方程，有时简称为方程，未知函数是一元函数的微分方程称作常微分方程，未知函数是多元函数的微分方程称作偏微分方程。 一阶常微分方程的初值问题是: {y′=f(x,y),y(x0)=y0,{y′=f(x,y),y(x0)=y0,\beg...

Sigmoid函数首先介绍一下Sigmoid这个神奇的函数： g(x)=11+exp（−x）g(x) = \frac{1}{1+{exp（-x）}} 其图像如下： 由图像可知，Sigmoid函数的值域在[0,1]之间，这对我们要做的分类是极其好的，因为我们完全可以从概率的角度来进行分类，单属于一个类的概率大于0.5时，我们就可以判定目标属于这个类。 我们需要理解的是，Logisti

线性回归和梯度下降算法关于线性回归和梯度下降算法，简单的说就是指这一类模型：输出是连续值，并且其假设函数是线性函数，所以其cost function很容易求偏导数。利用梯度下降的方法来求参数（局部最优解）。关于这一类算法的介绍推荐以下几个博客： 线性回归及梯度下降 BGD和SGD 本篇博客主要是分享一些可视化的python代码python实现首先是一个多特征的线性回归代码# encoding: