2017年06月_爱科研的徐博士

12月 11月 10月 09月 08月 07月 06月 05月 03月 01月

原创朴素贝叶斯的实现

前言我觉得朴素贝叶斯算法是分类算法最被熟知一种算法了，因为它还是比较容易理解的，原理基础就是一个条件概率，只不过又加了一个条件独立性假设。又因为这个假设，可能会存在后验概率为0的可能性错误，所以用平滑来避免这种错误，比如（拉普拉斯平滑处理）。#算法一，调用sklearn中的算法# _*_ encoding:utf-8 _*_from matplotlib import pyplot

2017-06-27 17:46:19 790

原创统计学习笔记六----朴素贝叶斯

前言　　朴素贝叶斯（naive Bayes）算法是基于贝叶斯定理和特征条件独立假设的分类方法，它是一种生成模型！　　对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。　　朴素贝叶斯算法实现简单，学习与预测的效率都很高，是一种常用的方法。条件独立性的假设朴素贝叶斯法对条件概率分布作了条件独立性的假

2017-06-26 17:20:54 1242

原创 KNN算法拓展及实现

前言K近邻算法是一种思想极其简单，而分类效果比较优秀的分类算法，最重要的是该算法是很多高级机器学习算分基础，并且在后面我们将要学习的集成算法中，k近邻也经常被用来做基础分类器。它的基本思想我们已经在上节介绍过了，在此我们不在赘述，本节主要讲一下有关它的拓展知识以及实现。模型：所有的空间划分，判别模型策略：距离最近的k个邻居方法：多数表决（注意，这里没有可计算的优化方法，可能我也没有说清

2017-06-25 13:13:30 1394 2

前言k邻近算法（k-nearest）是一种判别模型，解决分类问题和回归问题，以分类问题为主，在此我们也主要介绍分类问题中的k近邻算法。k近邻算法的输入为实例的特征向量，对应予特征空间中的点；输出为实例的类别，可以取多类，（前面我们介绍的三种方法主要是解决二分类问题）。k近邻算法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等决策方法进行

2017-06-24 15:52:58 873

原创 SVM 的实现之SMO算法

引言SVM的学习SMO算法：需要满足的KKT条件为： (PS：实际上以上的三个公式是我们根据KKT条件得到的 )也就是说找到一组αi可以满足上面的这些条件的就是该目标的一个最优解。所以我们的优化目标是找到一组最优的αi*。一旦求出这些αi*，就很容易计算出权重向量w*和b，并得到分隔超平面了。这是个凸二次规划问题，它具有全局最优解，一般可以通过现有的工具来优化。但当训练样

2017-06-22 23:45:15 3910 1

原创支持向量机拓展 SVM

回顾与总结我们回顾一下我们之前讲过的东西，实际上我们可以发现：1、SVM中需要计算的地方，数据向量总是以内积的形式出现的。2、对于非线性可分的数据，存在一个简化映射空间中的内积运算的核函数。3、对于大部分的数据来说，都是位于分隔超平面两侧的（或者说大部分数据还是分类正确的），所以大部分的样本对决策边界的贡献为0，而只有少数的，重要的支持向量起作用。对于线性可分的数据，我们的优化问题为：对于

2017-06-19 14:24:30 834

原创统计学习方法笔记四---支持向量机

支持向量机（support vector machines， SVM）支持向量机（support vector machines， SVM）是一种二分类模型，它的基本模型是定义在特征空间上的**<font color=red>间隔最大</font>**的线性分类器，间隔使它有别于感知机；支持向量机还包括和技巧，这使它成为实质上的非线性分类器。

2017-06-17 11:14:24 964

原创逻辑斯蒂拓展以及Python实现

为什么使用sigmoid函数在上两节中已经说到，逻辑斯蒂回归只是在线性回归的基础上套用了一个逻辑函数，并且也解释了，线性的原因。忘记的可以回顾一下。下面我们再具体解释一下，为什么逻辑斯蒂选择使用sigmoid函数。为什么是sigmoid函数假设数据集有n个独立的特征，x1到xn为样本的n个特征。常规的回归算法的目标是拟合出一个多项式函数（线性函数），使得预测值与真实值的误差最小：但是线性回

2017-06-14 14:06:56 1449

原创面试题整理

1、(a.)标准梯度下降算法和随机梯度下降算法的区别？(b.)假设请分别写出它们的伪代码。(c.)对于代价函数求最小值GD和SGD哪一个更好一点？答：（a）区别：标准梯度下降算法又叫批量梯度下降算法，在更新一次权重的时候需要计算所有的样本数据，而随机梯度下降算法在更新权重的时候，只是随机选择一个样本进行更新计算。或者如下回答：两种算法都是通过对数据进行参数评估，然后

2017-06-13 14:51:30 448

原创《统计学习方法》笔记三---逻辑斯蒂（续）

续最大熵模型最大熵模型的学习求解最大熵模型的过程

2017-06-12 17:54:23 937 1

原创统计学习方法笔记三----逻辑斯蒂

0、说明虽然在《统计学习方法》中logistic方法在第五章，但是上一节主要是总结了感知机算法，为了更好的衔接，我打算先把logistic提前总结，因为两种方法都属于线性模型。同样，下一次笔记，我们将介绍SVM算法。1、逻辑斯蒂回归模型逻辑斯蒂回归不是回归，是分类！1.1 逻辑斯蒂分布设X是连续随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数：式中，为位置参数，决定了密度函数对称轴的位置

2017-06-12 11:29:12 2069

转载感知机算法拓展---神经网络

神经元神经元是神经网络的基本单元，接受多个神经元传递过来的输入信号，然后通过激活函数计算输出信号。从图里可以看到每个输入信号都有一个权重w，这个权重是动态改变的。我们平时所说的训练神经网络主要是训练（修正）这个权重w。同时每个神经元有一个参数theta，这个theta是阈值，生物意义上，如果输入信号的加权和比阈值高，意味着这个神经元被激活（处于兴奋状态）。信号向下一个神经元传递，但是在这里的感知机模

2017-06-08 21:22:25 863

原创感知机学习算法的拓展---非线性可分数据问题

感知机算法中的优化方法的几何解释针对非线性可分数据问题的解决Pocket Algorithm算法

2017-06-08 11:33:38 3633

原创统计学习方法笔记二-----感知机算法（PLA）代码实现

我们利用Python，按照上一节介绍的感知机算法基本思想，实现感知算法的原始形式和对偶形式。

2017-06-07 09:12:23 5151 5

原创统计学习方法笔记二---感知机(Perceptron Learning Algorithm,PLA)

简介感知机（perceptron）是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型，解决的问题是分类问题。目标/目的：求出将训练数据进行线性划分的分类超平面，为此导入误分类的损失函数，利用梯度下降法对损失函数进行最小化，求的感知机模型。感知机学习算法具有简单而易于实现的优点，分为原始形

2017-06-05 18:02:10 3645 1

Python基础编程全教程+实践案例

非常适合Python入门的全教程，Python 基础教程 2、 Python概述 2.1 认识Python 2.2 Python的安装 2.3 集成开发环境Pycharm 3、第一个Python程序 3.1 Python程序执行原理 3.2 Python程序文件执行 3.3 Python程序交互式执行 4、 Python语法知识 4.1 基本语法 4.2 变量与数据类型 4.3 标识符与关键字 4.4 语句概述 4.5 输入与输出函数 5、 Python基本数据类型 5.1 数字类型 5.2 数字类型的运算 5.3 运算符优先级 5.4 字符串类型 5.5 字符串格式化 5.6 字符串类型的运算 5.7 类型判断与类型之间的转换 6、 Python常用语句 6.1 程序流程图 6.2 判断语句（if-else语句） 6.4 循环语句（while、for语句） 6.5 循环控制（break、continue语句）

2023-06-07

如何撰写期刊论文-英文版

如果你还在为怎么写期刊论文而苦恼，可以下载该文章看一下，很受用！ Consider a few of our highest impact scientific journals, such as New England Journal of Medicine and the Journal of the American Medical Association. Publishing in these journals, or other high-impact factor journals, can lead to significant changes in clinical practice and policy. What do these high-impact publications have in common? Besides having a great idea and a well-executed study, they also have a clear and compelling narrative that makes the research..

2023-06-07

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

秋水顽石