- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 逻辑斯蒂回归模型
一、问题背景逻辑斯蒂回归模型是一种分类模型，其目的解决分类问题而非回归问题。logistic回归是一个判别模型，直接学习后验概率分布，其学习算法可以理解为极大似然估计法。模型分类算法通过定义一个分离超平面来分割不同类别的数据，用sigmoid函数作为后验概率分布函数来对输入数据进行分类。模型的学习算法通过对样本进行极大似然估计获得似然函数，通过梯度下降法求解似然函数中的参数，也就是分离超平
2017-12-17 17:20:50
2051
原创 决策树算法 python实现
lz最近在研究机器学习十大算法中的决策树算法(decision tree dt)，这是一种用于分类的算法。首先需要有具体的数据集，数据集中包含很多的特征属性和具体的类的判别。一、信息熵和信息增益信息熵是用于衡量样本集中纯度的一种常用的指标。假定当前样本集d中第k类样本所占的比例为pk，则d的信息熵为 公式并且信息熵越小，则其纯度越高。假定离散属性a有v个可能取值的属性，
2017-12-09 12:15:19
577
转载 机器学习中梯度下降法的分类及对比分析（附源码）
引言 梯度下降法 (Gradient Descent Algorithm，GD) 是为目标函数J(θ)，如代价函数(cost function), 求解全局最小值（Global Minimum）的一种迭代算法。本文会详细讨论按照准确性和耗费时间（accuracy and time consuming factor）将梯度下降法进行分类。这个算法在机器学习中被广泛用来最小化目标
2017-12-05 15:17:34
1790
转载 矩阵、向量求导法则
复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。 x is a column vector, A is a matrixd(A∗x)/dx=A d(xT∗A)/dxT=A d(xT∗A)/dx=AT d(xT∗A∗x)/dx=xT(AT+A) pract
2017-12-05 13:39:18
276
原创 knn邻近算法
knn算法即为k邻近算法，是一种监督式的机器学习算法，且它是用来进行分类的。注意此算法需要和k-means算法进行区别，因为都有个k。工作原理是：存在一个样本数据集合，也称作训练样本集，且样本集中每个数据都存在标签，知道样本集中与所属分类的对应关系。输入没有定义的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般而言，
2017-12-03 22:35:35
659
转载 层次聚类算法的原理及实现Hierarchical Clustering
层次聚类(Hierarchical Clustering)是聚类算法的一种，通过计算不同类别数据点间的相似度来创建一棵有层次的嵌套聚类树。在聚类树中，不同类别的原始数据点是树的最低层，树的顶层是一个聚类的根节点。创建聚类树有自下而上合并和自上而下分裂两种方法，本篇文章介绍合并方法。层次聚类的合并算法层次聚类的合并算法通过计算两类数据点间的相似性，对所有数据点中最为相似的两个
2017-12-02 20:08:17
1353
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人