机器学习
BYR_jiandong
这个作者很懒,什么都没留下…
展开
-
机器学习算法中文视频教程
机器学习算法中文视频教程zouxy09@qq.comhttp://blog.csdn.net/zouxy09 在网上狂搜ReproducingKernel Hilbert Space的时候,找到了一个好东西。这个是李政軒Cheng-Hsuan Li的关于机器学习一些算法的中文视频教程。感觉讲得很好。这里非常感谢他的分享:http://www.power转载 2014-12-19 19:47:00 · 1489 阅读 · 2 评论 -
machine learning week 9 异常检测 推荐系统
week 9的作业链接如下:http://download.csdn.net/detail/lujiandong1/8635873 这部分内容来源于Andrew NG老师讲解的 machine learning课程,包括异常检测算法以及推荐系统设计。异常检测是一个非监督学习算法,用于发现系统中的异常数据。推荐系统在生活中也是随处可见,如购物推荐、影视推荐等。课程链接为:原创 2015-04-27 10:22:38 · 1812 阅读 · 0 评论 -
machine learning Photo OCR 机器学习的上限分析-判断机器学习中,哪个模块是值得花时间去提高性能
上限分析:判断机器学习流水线中哪个模块最值得花时间去提高性能的。 上面是图像的字符检测和识别系统:分成几个模块进行 Text detection -从图像中检测出含字符的区域 character segmentation -将含字符的区域进行字符的分割 character recognition -将分割后的字符进行识别原创 2015-04-28 14:34:01 · 1415 阅读 · 0 评论 -
机器学习 视频资源
斯坦福大学Andrew Ng教授主讲的《机器学习》公开课观后感分类: 机器学习 斯坦福大学 公开课 Andrew Ng2014-03-03 09:15 3174人阅读 评论(1) 收藏 举报近日,在网易公开课视频网站上看完了《机器学习》课程视频,现做个学后感,也叫观后感吧。 学习时间 从2013年7月26日星期五开始,在网易公开课视频网站上,观看由斯坦福大学A转载 2015-01-14 11:10:33 · 1243 阅读 · 0 评论 -
机器学习中的内核方法 李政轩的视频笔记
课程链接:http://www.powercam.cc/slide/6552。Kernel Methord 的基本思想: Kernal的基本思想是,将低维空间不可分数据映射到高纬度的空间,比如说左图的数据是线性不可分的,分界线是:,将数据映射到三维空间,就可以得到线性的分类面,总结:在低维空间线性不可分,映射原创 2015-06-04 08:18:13 · 7094 阅读 · 0 评论 -
机器学习经典博客链接
VC维的来龙去脉http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4%E7%9A%84%E6%9D%A5%E9%BE%99%E5%8E%BB%E8%84%89/#comment-2422原创 2015-06-15 11:17:25 · 1024 阅读 · 0 评论 -
vowpal_wabbit是在单机上性能极高的机器学习库,比较online learning and batch learning
vowpal_wabbit 是在单机上速度非常快的机器学习库。本质原因是vowpal_wabbit采用的是在线学习,也即优化方法采用的是随机梯度下降的方法。相比较batch gradient,online-learnging 的速度快,但是效果可能没有batch-learning好。在博客上,关于vowpal_wabbit中,关于online-learning和batch-learni原创 2015-12-30 10:48:28 · 4183 阅读 · 0 评论 -
k-means优化 & k-means距离的选择 &k-medoids对比
一、k-means:在大数据的条件下,会耗费大量的时间和内存。优化k-means的建议:1、减少聚类的数目K。因为,每个样本都要跟类中心计算距离。2、减少样本的特征维度。比如说,通过PCA等进行降维。3、考察其他的聚类算法,通过选取toy数据,去测试不同聚类算法的性能。4、hadoop集群,K-means算法是很容易进行并行计算的。二、K-means距离的定义:原创 2016-05-05 11:24:02 · 26490 阅读 · 6 评论 -
AUC的理解与应用场景
AUC的值就是处于ROC curve下方的那部分面积的大小。通常,AUC的值介于0.5到1.0之间,较大的AUC代表了较好的performance。方法一:统计一下所有的 M×N(M为正类样本的数目,N为负类样本的数目)个正负样本对中,有多少个组中的正样本的score大于负样本的score。当二元组中正负样本的 score相等的时候,按照0.5计算。然后除以MN。实现这个方法的复杂度为O(原创 2016-07-23 09:18:07 · 2807 阅读 · 0 评论 -
XGBoost Stopping to Avoid Overfitting(early_stopping_rounds )
XGBoost模型和其他模型一样,如果迭代次数过多,也会进入过拟合。表现就是随着迭代次数的增加,测试集上的测试误差开始下降。当开始过拟合或者过训练时,测试集上的测试误差开始上升,或者说波动。下面通过实验来说明这种情况:下面实验数据的来源:https://archive.ics.uci.edu/ml/datasets/Pima+Indians+Diabetes# monitor traini原创 2016-10-10 14:33:22 · 12988 阅读 · 2 评论 -
xgboost cross_validation&自定义目标函数和评价函数&base_score参数
1、Xgboost参数的选择:base_score:对于所有样本预测为正样本的全局偏置(the initial prediction score of all instances, global bia)。如果迭代次数够多,改变这个参数对结果不会有影响。经验值:将base_score设定为#(正样本)/#(所有样本),对结果没有多少影响,但是可以减少迭代的次数。2、Xgboos原创 2016-10-11 19:58:36 · 18781 阅读 · 5 评论 -
机器学习常见的六大错误
机器学习很大程度上就像软件工程一样,比如我现在要实现一个key-value的数据库,那么有很多种模式都可以实现,但是他们最终所达到的效果却是千差万别的。同样,在机器学习领域,如果我想实现一个分类器,也有很多种算法,但是每种算法都对数据做了不同的前提假设,比如说k-means,对数据的假设,就是样本在欧式空间中,可以用欧式距离来度量。因为k-means算法的核心就是根据欧式距离来进行聚类。曾原创 2016-11-02 21:44:07 · 1217 阅读 · 0 评论 -
随机森林的几个重要参数
翻译自:https://www.analyticsvidhya.com/blog/2015/06/tuning-random-forest-model/There are primarily 3 features which can be tuned to improve the predictive power of the model :说明:随机森林有3个比较重要的参数,对结原创 2016-11-05 11:17:36 · 20911 阅读 · 3 评论 -
pandas使用get_dummies进行one-hot编码
离散特征的编码分为两种情况:1、离散特征的取值之间没有大小的意义,比如color:[red,blue],那么就使用one-hot编码2、离散特征的取值有大小的意义,比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}使用pandas可以很方便的对离散型特征进行one-hot编码import pandas as pddf = pd.DataFra原创 2016-10-17 09:30:41 · 80706 阅读 · 5 评论 -
安装jpype出现_jpype错误的解决方案
说明:主要是执行该python文件调用了anaconda的python解释器。所以报错:后来使用/user/bin python 调用该py文件就可以执行成功。说明:#!/usr/bin/python 也是默认调用/usr/bin/python,这样通过./a.py原创 2016-10-18 12:56:56 · 6802 阅读 · 1 评论 -
Machine Learning week 5 programming exercise Neural Network Learning
Neural Networks Learning 这次试用的数据和上次是一样的数据。5000个training example,每一个代表一个数字的图像,图像是20x20的灰度图,400个像素的每个位置的灰度值组成了一个training example。原创 2015-04-09 08:55:10 · 1444 阅读 · 0 评论 -
Machine Learning week 1 Programming Excercise 数据归一化的代码 +画代价函数的学习曲线
function [X_norm, mu, sigma] = featureNormalize(X)%FEATURENORMALIZE Normalizes the features in X % FEATURENORMALIZE(X) returns a normalized version of X where% the mean value of each feature is原创 2015-04-09 20:46:38 · 1377 阅读 · 0 评论 -
计算机视觉、机器学习相关领域论文和源代码大集合--持续更新……
计算机视觉、机器学习相关领域论文和源代码大集合--持续更新……zouxy09@qq.comhttp://blog.csdn.net/zouxy09 注:下面有project网站的大部分都有paper和相应的code。Code一般是C/C++或者Matlab代码。最近一次更新:2013-3-17一、特征提取Feature Extractio转载 2014-12-19 19:50:35 · 632 阅读 · 0 评论 -
人脸识别必读的N篇文章
人脸识别必读的N篇文章一.人脸检测/跟踪 人脸检测/跟踪的目的是在图像/视频中找到各个人脸所在的位置和大小;对于跟踪而言,还需要确定帧间不同人脸间的对应关系。 1.Robust Real-time Object Detection. Paul Viola, Michael Jones. IJCV 2004. 入选理由: Viola的人脸检测工作使得人脸检测真转载 2014-12-19 21:26:04 · 672 阅读 · 0 评论 -
18个最热深度学习Github项目逐一介绍
http://www.lupaworld.com/article-241291-1.html转载 2014-12-21 17:40:12 · 584 阅读 · 0 评论 -
Logistic 回归总结
Logistic Regression 和 Linear Regression 的原理是相似的: 1. 找一个合适的预测函数(Andrew Ng 的公开课中称为 hypothesis),一般表示为 h 函数,该函数就是我们需要找的分类函数,它用来预测输入数据的判断结果。这个过程时非常关键的,需要对数据有一定的了解或分析,知道或者猜测预测函数的“大概”形式,比如是线性函数还是非原创 2015-01-12 10:02:54 · 1037 阅读 · 1 评论 -
机器学习资源链接
http://blog.csdn.net/maverick1990/article/category/1601219原创 2015-01-12 11:13:24 · 915 阅读 · 0 评论 -
RBM总结
Boltzmann Machine其实是一种无向图,里面的节点是互相连接的,但不一定是全连接,也即不是每个节点都两两相连,连接着的两个节点之间就有一个权值。为理解方便就假设节点只能取值为0或者1,有些节点值是已知的,有些是未知的,把已知的节点集合记为V,未知的节点集合记为H,这样就把所有节点分成两个集合,其实集合V就可以认为是visible层,集合H就可以认为是hidden层。如果hidden层中原创 2015-03-16 21:29:38 · 3063 阅读 · 0 评论 -
神经网络总结
图中,左边几个灰底圆中所标字母w代表浮点数,称为权重(weight,或权值,权数)。进入人工神经细胞的每一个input(输入)都与一个权重w相联系,正是这些权重将决定神经网络的整体活跃性。你现在暂时可以设想所有这些权重都被设置到了-1和1之间的一个随机小数。因为权重可正可负,故能对与它关联的输入施加不同的影响,如果权重为正,就会有激发(excitory)作用,权重为负,则会有抑制(inhibito原创 2015-03-17 09:11:12 · 835 阅读 · 0 评论 -
DBN的训练过程
有一种更好的神经网络模型,这就是受限玻尔兹曼机。使用层叠波尔兹曼机组成深度神经网络的方法,在深度学习里被称作深度信念网络DBN,这是目前非常流行的方法。 经典的DBN网络结构 是由若干层 RBM 和一层 BP 组成的一种深层神经网络, 结构如下图所示.: DBN 在训练模型的过程中主要分为两步: 第 1 步:分别单独无监督地训练每一原创 2015-03-17 20:37:47 · 19253 阅读 · 4 评论 -
Andrew Ng的 Machine Learning 读书笔记 Lecture 2
解释:训练数据去通过算法去训练一个模型,最后训练好的模型就形成了一个预测函数h解释:梯度下降算法,如果选取的参数的初始化值不一样,梯度下降算法得到的最优解可能也不一样,可能会达到不同的局部最优解。梯度下降算法的伪代码:correct的代码,所有参数都是同步更新的,Incorrect代码先更新了参数θ0,然后在更新θ1,显然是不同步的,一般我们所讲的梯原创 2015-03-28 15:51:33 · 937 阅读 · 1 评论 -
Andrew Ng的 Machine Learning 读书笔记 Lecture 4(数据归一化,调参)
数据归一化: 归一化化定义:我是这样认为的,归一化化就是要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便,其次是保正程序运行时收敛加快。 方法有如下: 1、线性函数转换,表达式如下: y=(x-MinValue)/(MaxValue-MinValue) 说明:x、y分别为转换前、后的值,Max原创 2015-03-28 16:05:06 · 1690 阅读 · 0 评论 -
logistic regression 多类别的分类问题 sigmoid function 判决边界
logistic regression (逻辑回归)产生的目的是解决回归问题,对于二元分类问题,预测函数hθ(x)最好是介于[0,1]之间,所以回归函数符号这个要求,谨记逻辑回归是分类函数。不是为了拟合存在。以下是解释:判决边界的PPT,有不懂的可以去看视频 以下是讲述逻辑回归的代价函数:凸优化 解释:计算代价原创 2015-03-31 15:49:16 · 3654 阅读 · 0 评论 -
经网络中隐层数和隐层节点数问题的讨论
神经网络中隐层数和隐层节点数问题的讨论一 隐层数 一般认为,增加隐层数可以降低网络误差(也有文献认为不一定能有效降低),提高精度,但也使网络复杂化,从而增加了网络的训练时间和出现“过拟合”的倾向。一般来讲应设计神经网络应优先考虑3层网络(即有1个隐层)。一般地,靠增加隐层节点数来获得较低的误差,其训练效果要比增加隐层数更容易实现。对于没有隐层的神经网络模型,实际上就是一个线性转载 2015-04-07 19:52:25 · 6715 阅读 · 0 评论 -
machine learning week7 学习笔记 SVM 习题解答
先附上作业的下载地址:http://download.csdn.net/detail/lujiandong1/8610685 支持向量机,SVM,是非常强大且流行的算法,在一些情况下,能面向一些复杂的非线性问题提供比逻辑回归或神经网络要更加简洁的解决方案。 week7视频中,12 - 3 - Mathematics Behind Large Margin Classification原创 2015-04-19 21:10:30 · 3796 阅读 · 0 评论 -
machine learning week6 诊断机器学习算法的性能 各种学习曲线 来判断学习算法是过拟合或欠拟合
先贴上作业的答案linearRegCostFunction.mfunction [J, grad] = linearRegCostFunction(X, y, theta, lambda)%LINEARREGCOSTFUNCTION Compute cost and gradient for regularized linear %regression with multiple原创 2015-04-12 12:57:26 · 5300 阅读 · 4 评论 -
machine learing week 10, 随机梯度下降 批量梯度下降 确定训练模型的数据规模 判断梯度下降是否收敛
1.1大型数据集的学习如果我们有一个低偏差的模型,增加数据集的规模可以帮助你获得更好的结果。我们应该怎样应对一个有100万条记录的训练集?以线性回归模型为例,每一次梯度下降迭代,我们都需要计算训练集的误差的平方和,如果我们的学习算法需要有20次迭代,这便已经是非常大的计算代价。首先应该做的事是去检查一个这么大规模的训练集是否真的必要,也许我们只用1000个训练集原创 2015-04-09 15:17:09 · 2325 阅读 · 0 评论 -
LSTM的完整推导过程,附上推导的手写稿
1、LSTM结构分析:说明:LSTM只是RNN的一种,只是将sigmoid神经元替换成LSTM单元。整体上的结构和前向全连接神经网络类似,也会有输入层结点,输出层结点。上图的结构就是有4个输入层结点,2个single-cell LSTM memory blocks,5个输出层结点。2、符号说明:3、前向过程:说明:前向传播过程,可以看出,对于原创 2016-11-16 16:47:04 · 4091 阅读 · 0 评论