xudongshasha的博客

原创 K-means算法

原创 主成分分析算法(PCA)

原创 线性回归补充

原创 逻辑回归

h(x)>=0.5, 即>=0时， 预测y=1h(x)则将预测问题转化为对的求解问题——用梯度下降算法：梯度下降算法求代码如下：ef sigmoid(z):    return 1.0/(1+exp(-z))    def gradDescent(returnMat, labelVec, iterations=150):    m=len(retur

原创 朴素贝叶斯分类方法

上面是一个贝叶斯公式；通过上式可以看出，要预测文本属于哪一个分类，则需要求出和；而想要计算出这两个概率，则需要将文本数据转换成数值型的数据，所以需要构建一个单词表，若若单词表中的单词，文本中存在，则将对应位置置为1，不存在，置为0.第一步：读取文件，返回文本列表textMat 和标签列表labelVecdef loadDataSet():    textMat=[['my','do

原创 决策树分类算法概述

决策树分类算法的关键点在于：         哪一个特征量起关键作用，即根据哪一个特征量对数据进行划分。则需要根据每一个特征量分别对数据进行划分。分别求出划分后的数据的信息增益，信息增益最大的对应的特征量即为所选择的特征量。          其中，信息增益=原数据的信息熵-划分后数据的信息熵                      信息熵=

原创 <机器学习实战>——k近邻算法

k近邻算法的大概思路：       （1）求出需要预测类别的数据与每一个样本数据的距离，得出一个距离向量       （2）对距离向量中的元素从小到大排序，选出前k个元素       （3）找出前k个元素对应的标签，出现次数最多的标签即为它所属的类别。用k近邻算法改进约会网站的配对效果思路：        （1）从文本文件datingTestSet2.txt  中解析数据

原创 逻辑回归算法——解决分类问题

分类：        二元分类：                                  多类别分类：（看成多个二元分类）                                     逻辑回归中的更新在形式上与线性回归相同，实则不同：h(x) 不同        线性回归中：h(x) 是一个线性函数       逻辑回归中：h(x) 是

原创 线性回归

一、一个特征量的线性回归       符号表示：                m:   训练集中样本的个数                n:  特征量的个数                x:     输入变量                y:     输出变量                (x, y):  整个训练样本                (x(上标

原创 机器学习知识体系结构

机器学习分为：          监督学习：样本数据有标签         无监督学习：所有样本数据都是一样的监督学习包括：         回归：预测值是连续的           分类：预测值是离散的无监督学习：  聚类