机器学习
秋水长天q
路曼曼其修远兮,吾将上下而求索
展开
-
k-近邻算法
1.文章说明 此文章参考机器学习实战一书,具体的理论知识可以参考该书。本文的初衷只是为了做一个复习,将学过的知识加以整理,其中不免有一定的错误。2.K-近邻算法的原理介绍 k-近邻算法通过测量不同的特征值之间的距离进行分类。它的工作原理如下:存在一个样本的数据集合,也成为训练样本集合。并且样本集中的每个数据都存在标签,即我们知道样本集原创 2015-12-10 21:47:20 · 745 阅读 · 0 评论 -
迁移学习算法之TrAdaBoost
TradaBoost算法由来已久,现在也有各种针对算法的该进,本文只讨论最初的算法。1.迁移学习 传统的机器学习的模型都是建立在训练数据和测试数据服从相同的数据分布的基础上。典型的比如有监督学习,我们可以在训练数据上面训练得到一个分类器,用于测试数据。但是在许多的情况下,这种同分布的假设并不满足,有时候我们的训练数据会过期,而重新去标注新的数据又是十分昂贵的。这个时候如果丢弃训练数据又是原创 2016-11-04 22:27:04 · 26765 阅读 · 17 评论 -
基于用户的协同过滤推荐—实现电影推荐
协同过滤(Collaborative Filtering)字面上的解释就是在别人的帮助下来过滤筛选,协同过滤一般是在海量的用户中发现一小部分和你品味比较相近的,在协同过滤中,这些用户称为邻居,然后根据他们喜欢的东西组织成一个排序的目录来推荐给你。问题的重点就是怎样去寻找和你比较相似的用户,怎么将那些邻居的喜好组织成一个排序的目录给你。原创 2016-11-26 17:38:53 · 9200 阅读 · 5 评论 -
SVD矩阵奇异值分解
矩阵的奇异值分解师线性代数中一种重要的矩阵分解,在信号处理,统计学等领域中有着重要的应用。在大学里面的线性代数的课程中一般都是会有SVD分解相关的知识的。但是往往只是涉及到理论上的知识体系,并没有多少实际应用的背景,所以结果就是学了没多久就会忘。奇异值分解可以将一个比较复杂的矩阵用几个小的简单的矩阵来表示,这些小的矩阵可以很好的表示原始矩阵的重要特性。在机器学习方面,很多的研究都是和奇异值分解有关的,典型的用于特征降维处理的PCA。在本文中我们会先介绍特征值得概念,由特征值引出奇异值分解,最后会给出实际中求原创 2016-11-05 20:23:38 · 1635 阅读 · 0 评论 -
线性回归
线性回归问题是机器学习中常见的基本问题之一,问题模型如下:给定一系列的数据样例和标记,用一个线性的方程来表示这些数据。简单点也就是给出点,求拟合曲线。原创 2016-12-30 16:34:41 · 806 阅读 · 0 评论 -
分类和Logistic回归
在上一章节中,介绍了简单的线性回归,给出一系列的离散点,利用回归模型找到一条最佳的拟合直线,其中在求解最佳拟合直线的过程中利用到了批梯度下降算法和随机梯度下降算法以及最小二乘法。可以看到,回归是一个连续的模型,那么怎样将这样一个连续的模型用在分类问题上呢,这就是这一节中将要介绍的对数回归模型。 对数回归本质上就是线性回归,只不过在线性回归的基础上加上了一个函数而已,这一点和单层感知器和相似,在单层感知器的输入上加上一个激励函数,就会得到不同的输出。对数回归也是一样,只需要在我们上一节中的回归模型的原创 2017-01-05 20:59:28 · 942 阅读 · 0 评论 -
集体智慧编程第二章之提供推荐
本章主要介绍了利用协作型算法对项目进行推荐,这里的项目可以是商品,电影,音乐。一个协作型算法的关键是对一大群人进行搜索,从中找出与我们品味最相似的一群人,算法会对这些人的所偏好的内容进行考查,并将它们组合起来构造出一个经过排名的推荐列表。本文主要通过一个电影推荐的例子完成这个过程。原创 2016-12-14 10:50:11 · 1516 阅读 · 0 评论 -
集体智慧编程第三章之发现群组
第三章主要讲述了利用分级聚类,K均值聚类来发现群组的过程。聚类是寻找紧密相关的事人或者观点,并将其可视化的方法,通过数据聚类可以将相似度很高的项目聚集在一起,属于一种无监督学习,聚类在机器学习中的应用十分广泛。比如可以通过聚类来发现数据的分布特征,通过聚类可以寻找相似用户等等。本章主要通过一个对博客进行聚类的来说明聚类的过程,并在聚类的基础上将数据进行了可视化。原创 2016-12-14 22:05:26 · 1263 阅读 · 0 评论 -
范数汇总
范数,是具有长度概念的函数,在线性代数泛函分析中及相关的数学领域中是一个函数,其为向量空间内的所有向量赋予非零的正长度或大小。在平时的学习中,总是会出现范数的身影,本篇文章主要从向量的范数和矩阵的范数来说明。原创 2016-12-02 20:49:45 · 2500 阅读 · 3 评论 -
迁移学习概述
迁移学习的目标是从一个或者多个源领域任务中提取有用知识并将其用在新的目标任务上,本质上就是知识的迁移再利用。迁移学习的问题关键就是要解决三个问题,什么时候迁移,什么可以迁移,如何迁移。迁移学习的本质就是知识的再利用,数学上,迁移学习包含“域”和“任务”两个因素。原创 2016-12-02 16:15:40 · 5539 阅读 · 0 评论 -
贝叶斯分类算法
贝叶斯分类方法简单介绍!原创 2016-10-18 22:57:09 · 932 阅读 · 0 评论 -
PCA
PCA:主成分分析,一种常用的数据分析方法,不管是在机器学习还是数据挖掘中都会用到。PCA主要通过求数据集的协方差矩阵最大的特征值对应的特征向量,由此找到数据方差最大的几个方向,对数据达到降维的效果,将一个n维的向量降低到d维,其中d<n。本文主要从方差最大化理论解释PCA的实现过程。原创 2016-11-08 09:45:59 · 14677 阅读 · 0 评论 -
决策树学习
决策树学习,包含决策树的概念,决策树生成和剪枝处理。原创 2016-10-15 20:12:21 · 1931 阅读 · 0 评论 -
机器学习之回归
1.简介 本文主要参考斯坦福大学机器学习视频中第一节关于回归的讲解,在复习知识点的同时最后给出了一个具体的应用的实例,具体实例可以参考《机器学习实战》一书中的第五章。2.线性回归 在线性回归中,假设特征与结果之间满足线性关系,其中每个特征对结果的影响关系的强弱可以通过特征前面的参数进行控制假设我们用x1,x2......xn来表示特征里面的原创 2015-12-14 18:35:35 · 690 阅读 · 0 评论