cy_ariel-CSDN博客

原创 SVM常见面试题

一、SVM1. SVM为什么引入对偶问题？（1）方便计算，将原始问题的约束转化为等式约束（2）便于引入核函数2. SVM怎么防止过拟合？引入松弛变量3. 点到直线距离公式？点到直线距离：4. LR和SVM有什么不同吗？（1）分类思想不同：LR是基于概率求得，SVM是基于最大化间隔（2）SVM决策面只由少量的支持向量决定，而LR的话是所有样本都会参与决策面的更...

2018-09-17 16:57:45 1421

原创朴素贝叶斯法

一、介绍1. 朴素贝叶斯朴素：指各特征之间相互独立贝叶斯公式2. 朴素贝叶斯算法基于贝叶斯定理与特征条件独立假设的分类方法特征条件独立性假设：假设单一样本的 n 个特征彼此之间在各种意义上相互独立【定义】输入：（1）训练数据,其中，是第i个样本的第j个特征，，是第j个特征可能取的第l个值，（2）实例x输出：实例x的分类【分析】求的x的分类即是求满...

2018-08-15 19:02:46 282

原创 SVM

一、支持向量机 SVM(Support Vector Machine)SVM是一种二分类算法，旨在寻找最佳平面使得训练集上的正负样本间距最大。模型由简至繁可分为以下三种：线性可分支持向量机（硬间隔支持向量机）：线性支持向量机（软间隔支持向量机）：非线性支持向量机：二、线性可分支持向量机1. 训练集线性可分，存在无数超平面可将两类数据正确分开，此时线性可分支持向量机利用间隔最...

2018-08-09 18:59:07 408

原创 Python常用函数

1. 定义匿名函数 lambda例 func = lambda x : x+1func(1)=2func(2)=32. 映射函数 map()注：map()接收两个参数，一个是函数，一个是iterable。map()将函数作用到每一个iterable元素上，把结果作为新的iterator返回例 def f(x): return x*xlist(map(f,[1,2...

2018-08-09 16:45:17 173

原创 sklearn

一、Logisitic Regression模型1. 取数据import pandas as pddf = pd.read_csv('/Users/cy_ariel/Downloads/adultTest.csv')2. 数据处理查看class字段取值df['class'].value_counts()<=50K 24720 >50K ...

2018-08-02 16:46:27 189

原创感知机

一、定义1. 统计学习方法一书中感知机有如下定义由上面可知，感知机模型是一种判别模型且是线性的，模型主要任务是求得参数w和b。2. 定义损失函数那么我们最小化损失函数求得的w、b即为最优解。用梯度下降法来最小化损失函数，损失函数的梯度如下：二、算法三、对偶形式1. 总结w的更新，假设每个训练样本被误分次数为,初始值，最后得到的和可以表示为...

2018-07-04 16:31:41 175

一、相关基础介绍1. 导数对于曲线的一种线性逼近，导数代表的是某一点的变化率，可以理解为曲线上一点的线性逼近的变化率2. 方向导数是一个数；反映的是f(x,y)在P0点沿某一方向的变化率。3. 梯度由定义可知梯度是一个向量，既有大小又有方向。【结论】沿梯度的方向，方向导数最大，最大值为梯度的模二、梯度下降法场景：假设我们处于一个山顶，不知道怎么走才能最快到达山底，这时一种办法就是每次都沿着最陡峭的...

2018-04-25 15:39:26 84

原创 K-Means算法优化

一、K-Means算法缺陷1. 需要预先给定k值2. 对初始质心的选取比较敏感，不同的初始质心得到的结果可能完全不同二、优化1. 针对初始质心的选择问题优化：K-Means++思想：随机选取一个质心repeat：计算所有点到最近质心的距离D(x)，求得被选为下一个质心的概率根据轮盘法确定下一个质心until 选出k个质心repeat： ...

2018-04-09 08:32:11 641

原创 K-means算法

一、算法介绍K-means算法是一种聚类算法，无监督算法算法思想如下：选择K个点做初始质心 repeat：将每个点分配到距离最近的质心，形成K个簇重新计算每个质心的位置 until 簇不发生变化或达到最大迭代次数二、算法实现距离度量采用欧氏距离二维空间：目标函数用误差平方和（Sum...

2018-04-06 13:48:03 244

原创 LR算法

一、基础介绍1. 逻辑回归(Logistic Regression, LR)，是一种二分类算法。2. Logisitic函数，定义域负无穷到正无穷，值域(0,1)$$g\left ( z \right )=\frac{1}{1+e^{-z}}$$logistic函数图像3. 定义输入，利用Logisitic函数将自变量映射到（0，1）上，如下， ...

2018-03-29 21:10:39 1247

cy_ariel的博客