xudongshasha的博客

原创 K-means算法

原创 主成分分析算法(PCA)

原创 线性回归补充

原创 逻辑回归

h(x)>=0.5, 即>=0时， 预测y=1 h(x) 则将预测问题转化为对的求解问题——用梯度下降算法： 梯度下降算法求代码如下： ef sigmoid(z):     return 1.0/(1+exp(-z))      def gradDescent(returnMat, labelVec, iterations=150):     m=len(retur

原创 朴素贝叶斯分类方法

上面是一个贝叶斯公式；通过上式可以看出，要预测文本属于哪一个分类，则需要求出和； 而想要计算出这两个概率，则需要将文本数据转换成数值型的数据，所以需要构建一个单词表，若若单词表中的单词，文本中存在，则将对应位置置为1，不存在，置为0. 第一步：读取文件，返回文本列表textMat 和标签列表labelVec def loadDataSet():     textMat=[['my','do

原创 决策树分类算法概述

决策树分类算法的关键点在于：          哪一个特征量起关键作用，即根据哪一个特征量对数据进行划分。则需要根据每一个特征量分别对数据进行划分。分别求出划分后的数据的信息增益，信息增益最大的对应的特征量即为所选择的特征量。           其中，信息增益=原数据的信息熵-划分后数据的信息熵                       信息熵=

原创 <机器学习实战>——k近邻算法

k近邻算法的大概思路：        （1）求出需要预测类别的数据与每一个样本数据的距离，得出一个距离向量        （2）对距离向量中的元素从小到大排序，选出前k个元素        （3）找出前k个元素对应的标签，出现次数最多的标签即为它所属的类别。 用k近邻算法改进约会网站的配对效果 思路：         （1）从文本文件datingTestSet2.txt  中解析数据

原创 逻辑回归算法——解决分类问题

分类：         二元分类：                                   多类别分类：（看成多个二元分类）                                       逻辑回归中的更新在形式上与线性回归相同，实则不同：h(x) 不同         线性回归中：h(x) 是一个线性函数        逻辑回归中：h(x) 是

原创 线性回归

一、一个特征量的线性回归        符号表示：                 m:   训练集中样本的个数                 n:  特征量的个数                 x:     输入变量                 y:     输出变量                 (x, y):  整个训练样本                 (x(上标

原创 机器学习知识体系结构

机器学习分为：           监督学习：样本数据有标签          无监督学习：所有样本数据都是一样的 监督学习包括：          回归：预测值是连续的            分类：预测值是离散的 无监督学习：  聚类