机器学习
~无关风月~
手在键盘敲很轻
展开
-
机器学习基础知识
深度学习是机器学习的一个分支。要想理解深度学习,必须对机器学习的基本原理有深刻的理解。 有监督学习(Supervised Learning):数据本身包含标签 无监督学习(Unsupervised Learning):数据无标签,但内部潜在结构可能不同 模型是什么 监督学习是要根据已知的数据集X和Y(标记)寻找出映射关系 f 。 样本(example):一个 feature 和对应的原创 2017-07-06 19:26:55 · 1033 阅读 · 0 评论 -
朴素贝叶斯应用之文本分类
贝叶斯理论我们有一堆带标记的样本(包含 特征 和 类别),可以从中统计得到 p(特征|类别)p(特征|类别)根据 全概率公式: P(Y,X)=P(Y|X)P(X)=P(X|Y)P(Y)P(Y,X) = P(Y|X)P(X)=P(X|Y)P(Y)得到 贝叶斯公式: P(Y|X)=P(X|Y)P(Y)P(X)P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}从机器学习的视角,XX 认为转载 2017-11-11 20:20:58 · 1329 阅读 · 0 评论 -
Andrew NG 机器学习 笔记-week9-异常检测和推荐系统(Anomaly Detection and Recommender Systems)
一、Density Estimation(密度估计)1. 问题动机(Problem Motivation)异常检测(Anomaly detection)问题,是机器学习算法的一个常见应用。这种算法的有趣之处在于:它虽然主要用于无监督学习问题,但从某些角度看,它又类似于一些监督学习问题。什么是异常检测呢?为了解释这个概念,让我举一个例子吧:假如你是一个飞机引擎制造商,当你生产的飞机引擎从生产线上流出时原创 2017-10-28 17:38:02 · 936 阅读 · 0 评论 -
朴素贝叶斯应用之语种检测
用朴素贝叶斯完成一个语种检测的分类器预料库为twitter数据,包含English, French, German, Spanish, Italian 和 Dutch 6种语言。 1 december wereld aids dag voorlichting in zuidafrika over bieten taboes en optimisme,nl 1 millón de afect转载 2017-11-12 14:45:23 · 670 阅读 · 0 评论 -
从NB到N-gram语言模型
1、引言:朴素贝叶斯的局现象朴素贝叶斯的局限性来源于其条件独立假设,将文本看成词袋模型,不考虑词语之间的先后顺序,比如“武松打死了老虎”与“老虎打死了武松”会被认为以一个意思。N-gram语言模型能提高对词语顺序的识别能力。2、N-gram语言模型2.1 从假设性独立到联合概率链规则照抄我们垃圾邮件识别中的条件独立假设: P((“我”,“司”,“可”,“办理”,“正规发票”,“保真”,“增值税”转载 2017-11-12 21:01:17 · 833 阅读 · 0 评论 -
Andrew NG 机器学习 练习8-Anomaly Detection and Recommender Systems
1 Anomaly detection实现一个异常检测算法检测服务器的异常行为 特征是 每个服务器的 吞吐量(throughput)(mb/s) 和 相应延迟(ms) 采集 m=307 台运行中的服务器的特征,{x(1),...,x(m)x^{(1)},...,x^{(m)}} 其中大部分是 normal 的服务器特征你将使用 高斯模型 检测数据集中的异常样例 从 2D 数据集开始,以便可视原创 2017-11-03 11:20:54 · 810 阅读 · 0 评论 -
Andrew NG 机器学习 笔记-week8-聚类(Clustering)
一、聚类(Clustering)1、无监督学习简介(Unsupervised Learning Introduction)在无监督学习中,数据没有附带任何标签。 训练集只有 x(1),x(2)...x(m)x^{(1)},x^{(2)}...x^{(m)},没有 y图上的数据看起来可以分成两个分开的点集(称为簇),一个能够找到区分这些点集的算法,称为聚类算法。聚类算法的应用: 市场分割:把数据库中原创 2017-10-25 11:04:13 · 833 阅读 · 0 评论 -
主题模型-LDA
参考:http://blog.csdn.net/v_july_v/article/details/41209515关于LDA有两种含义,一种是线性判别分析(Linear Discriminant Analysis),一种是概率主题模型:隐含狄利克雷分布(Latent Dirichlet Allocation,简称LDA),本文讲后者。是一种无监督的贝叶斯模型是一种主题模型,它可以将文档集中每篇文档的转载 2017-11-18 16:32:55 · 10254 阅读 · 0 评论 -
Andrew NG 机器学习 笔记-week10-大规模机器学习(Large Scale Machine Learning)
一、Gradient Descent with Large Datasets1、大型数据集的学习(Learning with Large Datasets)得到一个高效的机器学习系统的最好方式之一是,用一个低偏差的学习算法,然后用大量的数据训练它。如 补全句子单词的例子。有大量的数据,很多算法都能够取得不错的效果。有种说法:通常不是最好的算法取胜,而是谁有最多的数据。但大数据集训练也有它自身的问题,原创 2017-11-05 19:10:20 · 1098 阅读 · 0 评论 -
Andrew NG 机器学习 笔记-week11-应用实例:图片文字识别(Application Example:Photo OCR)
1、问题描述和流程图(Problem Description and Pipeline)photo OCR:photo Optical Character Recognition图像文字识别,要求从一张给定的图片中识别文字。为了完成这样的工作,需要采取如下步骤:文字侦测(Test detection):将图片上的文字与其他环境对象分离开来字符切分(Character segmentation):原创 2017-11-06 10:10:47 · 2931 阅读 · 1 评论 -
隐马尔科夫模型(HMM)
马尔科夫链马尔科夫链,因安德烈.马尔科夫(A.A.Markov,1856-1922)得名,是指数学中具有马尔科夫性质的离散事件随机过程。每个状态的转移只依赖于之前的n个状态,这个过程被称为1个n阶的模型,其中n是影响转移状态的数目。 最简单的马尔科夫过程就是一阶过程,每一个状态的转移只依赖于其之前的那一个状态。用数学表达式表示就是: 假设天气服从马尔科夫链 转移矩阵如果已知今天是晴天,那么明天转载 2017-11-24 16:42:35 · 19492 阅读 · 1 评论 -
word2vec与相关应用
NLP相关任务自动摘要指代消解 小明放学了,妈妈去接【他】机器翻译 小心地滑->Slide carefully词性标注 heat(v.) water(n.) in(p.) a(det.) pot(n.)分词(中文,日文等) 大水沟/很/难/过主题识别文本分类NLP处理方法传统:基于规则现代:基于统计机器学习 HMM,CRF,SVM,LDA,C转载 2019-03-08 15:34:16 · 7639 阅读 · 0 评论 -
Keras mnist 手写数字图片识别
keras 中文API:http://keras-cn.readthedocs.io/en/latest/models/about_model/ 官方中文API:https://keras.io/zh/ 英文API:https://keras.io/ 项目地址:https://github.com/keras-team/keras用四层全连接神经网络import numpy as ...原创 2018-01-19 11:10:45 · 3618 阅读 · 0 评论 -
朴素贝叶斯
by 寒小阳1. 引言¶贝叶斯方法是一个历史悠久,有着坚实的理论基础的方法,同时处理很多问题时直接而又高效,很多高级自然语言处理模型也可以从它演化而来。因此,学习贝叶斯方法,是研究自然语言处理问题的一个非常好的切入口。2. 贝叶斯公式¶贝叶斯公式就一行: P(Y|X)=P(X|Y)P(Y)P(X)P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)} 而它其实是由以下的联合概率公式推导转载 2017-11-08 21:55:49 · 12325 阅读 · 1 评论 -
Andrew NG 机器学习 练习6-Support Vector Machines
1、SVM1.1 Example Dataset 1%% ==================== Part 2: Training Linear SVM ====================% The following code will train a linear SVM on the dataset and plot the% decision boundary learned原创 2017-10-24 19:37:22 · 927 阅读 · 0 评论 -
Andrew NG 机器学习 笔记-week7-支持向量机(Support Vector Machines)
一、优化目标(Optimization Objective)支持向量机(Support Vector Machine) 广泛应用于工业界和学术界。与逻辑回归和神经网络相比,SVM在学习复杂的非线性方程时,提供了一种更为清晰,更加强大的方式。是有监督算法。从逻辑回归开始展示我们如何一点一点修改来得到本质上的支持向量机。逻辑回归中的假设函数,右边S型激励函数。用 z 表示 θTx\theta^Tx逻辑回原创 2017-10-23 10:38:21 · 595 阅读 · 0 评论 -
Andrew NG 机器学习 练习1-Linear Regression
在本次练习中,需要实现一个单变量的线性回归。假设有一组历史数据<城市人口,开店利润>,现需要预测在哪个城市中开店利润比较好?历史数据如下:第一列表示城市人口数,单位为万人;第二列表示利润,单位为10,000$ ex1data1.txt 6.1101,17.592 5.5277,9.1302 8.5186,13.662 7.0032,11.854 … …用Matl原创 2017-08-25 21:06:29 · 699 阅读 · 0 评论 -
Andrew NG 机器学习 练习2-Logistic Regression
1 Logistic Regressionbuild a logistic regression model to predict whether a student gets admitted into a universitybased on their results on two examstraining set:istorical data from previous applicant原创 2017-09-01 21:34:24 · 1168 阅读 · 0 评论 -
Andrew NG 机器学习 笔记-week1-单变量线性回归
IntroductionWelcomeWhat is Machine LearningGrew out of work in AI(机器学习源于人工智能领域)New capacity for computers(ML 已经发展成为计算机的一项新能力)Examples:(机器学习应用实例)Database mining Large datasets from g原创 2017-08-19 15:07:22 · 1161 阅读 · 0 评论 -
Andrew NG 机器学习 笔记-week2-多变量线性回归
一、多变量线性回归(Multivariate Linear Regression)1.1 多维特征(Multiple Features)目前为止,我们探讨了单变量/特征的回归模型,现在我们对房价模型增加更多的特征, 例如房间数楼层等,构成一个含有多个变量的模型,模型中的特征为(x 1 ,x 2 ,…,x n )。 增添更多特征后,我们引入一系列新的注释: n 代表特征的数量 m原创 2017-08-21 20:38:07 · 508 阅读 · 0 评论 -
Andrew NG 机器学习 笔记-week3-逻辑回归
一、分类和表示(Classification and Representation)1.1 Classification(分类问题)在分类问题中,你要预测的变量 y 是离散的值,我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法,这是目前最流行使用最广泛的一种学习算法。在分类问题中,我们尝试预测的是结果是否属于某一个类(例如正确或错误)。分类问题的例子有:判断一封电子邮件原创 2017-08-28 17:40:05 · 633 阅读 · 0 评论 -
Andrew NG 机器学习 笔记-week4-神经网络:表述
神经网络:表述( Neural Networks: Representation) 一、Motivations1.1 Non-linear Hypotheses我们之前学的,无论是线性回归还是逻辑回归都有这样一个缺点,即:当特征太多时,计算的负荷会非常大。下面是一个例子: 之前我们已经看到过,使用非线性的多项式项,能够帮助我们建立更好的分类模型。假设我们有非常多的特征,例如大于 100 个变量,我原创 2017-09-02 18:12:53 · 623 阅读 · 0 评论 -
Andrew NG 机器学习 练习5-Regularized Linear Regression and Bias/Variance
1 Regularized Linear Regression本文根据水库中蓄水标线(water level) 使用正则化的线性回归模型预测 水流量(water flowing out of dam),然后 debug 学习算法 以及 讨论偏差和方差对 该线性回归模型的影响。1.1 Visualizing the dataset本作业的数据集分成三部分: ⓐ训练集(training set),样本原创 2017-10-18 20:49:09 · 1490 阅读 · 0 评论 -
Andrew NG 机器学习 笔记-week5-神经网络的学习(Neural Networks:Learning)
一、代价函数(Cost Function)首先引入一些便于稍后讨论的新标记方法:假设神经网络的训练样本有 m 个,每个包含一组输入 x 和一组输出信号 yL =神经网络总层数sls_l = ll 层的神经元(neuron)个数(不包含偏置单元(bias unit))sLs_L = 最后一层中神经元的个数 K = 输出单元或类的数量将神经网络的分类定义为两种情况:二类分类和多类分类:二类原创 2017-09-30 09:18:15 · 989 阅读 · 0 评论 -
Andrew NG 机器学习 练习3-Multiclass Classification and Neural Networks
In this exercise, you will implement one-vs-all logistic regression and neural networks to recognize hand-written digits.1 Multi-class ClassificationIn the first part of the exercise, you will extend y原创 2017-09-04 21:32:10 · 1786 阅读 · 0 评论 -
Andrew NG 机器学习 练习4-Neural Networks Learning
Introduction我们将实现神经网络的反向传播算法,并将其应用到手写数字识别中。1 神经网络在以前的练习中,我们实现了 神经网络的前馈传播,并用我们提供的权重值,将其应用到了预测手写字体的任务中。在这个练习中,你讲实现后向传播算法来学习神经网络的参数。1.1 可视化数据每个训练样例,是一个20*20像素的图片灰度数值。每个像素通过一个浮点类型的值来表示灰度值。20*20像素的数值被展开成一个4原创 2017-10-03 18:33:23 · 1730 阅读 · 0 评论 -
Andrew NG 机器学习 练习7-K-means Clustering and Principal Component Analysis
1 K-means Clustering1.1 Implementing K-meansThe K-means algorithm is a method to automatically cluster similar data examples together.The K-means algorithm is as follows:% Initialize centroidscentroid原创 2017-10-27 17:36:07 · 1125 阅读 · 0 评论 -
Andrew NG 机器学习 笔记-week6-应用机器学习的建议 ( Advice for Applying Machine Learning)
一、决定下一步做什么(Deciding What to Try Next)假设我们需要用一个线性回归模型来预测房价,当我们用训练好了的模型来预测未知数据的时候,发现有较大的误差,我们下一步可以做什么?获得更多的训练实例–通常是有效的,但代价较大,下面的方法也可能有效,可考虑先采用下面的几种方法。尝试减少特征的数量。尝试获得更多的特征。尝试增加多项式特征。尝试减少正则化程度λ尝试增加正则化原创 2017-10-17 14:22:36 · 693 阅读 · 0 评论 -
深度学习与NLP简单应用
Intro问题原型:Text —> Label行业 Baseline:⽤用 BoW 表示 sentences,然后⽤用 LR 或者 SVM 做回归。(Fan et al. 2008)中英文区别: 英文直接使用空格分词,中文需要专门的方法进行分词: Deep learning is a branch of machine learning based on a set of...转载 2017-12-02 18:54:23 · 3084 阅读 · 0 评论