机器学习
文章平均质量分 78
最小森林
It's now or never .
展开
-
机器学习模型上线及优化流程
机器学习模型上线及优化流程时间:2020-07-09文章目录机器学习模型上线及优化流程通用流程:1) 业务问题界定和定义2) 数据样本的筛选和构造3) label的定义与标注4) 选择机器学习算法5) 确定模型性能的度量方式6) 模型优化6.1 特征工程(ML):6.2 算法调参(DL)6.3 bad case分析7) 模型实验的策略8) 模型线上应用9)业务效果评估参考通用流程:如何应用机器学习模型来构建一个智能化应用的通用的过程1) 业务问题界定和定义将一个业务中待解决问题转化为一个机器原创 2020-07-14 14:21:56 · 3117 阅读 · 0 评论 -
机器学习模型的评价指标
文章目录模型指标0 基础:混淆矩阵1 准确率(Accuracy)2 三个详细指标:2.1 精确率(Precision)2.2 召回率(Recall)2.3 F1 score3 三个曲线3.1 ROC曲线3.2 AUC曲线3.3 PR曲线------参考--------模型指标0 基础:混淆矩阵混淆矩阵是监督学习中的一种可视化工具,主要用于比较分类结果和实例的真实信息。矩阵中的每一行代表实例的...转载 2019-10-17 10:36:02 · 906 阅读 · 0 评论 -
coursera-斯坦福-机器学习-吴恩达-第5周笔记-反向传播
coursera-斯坦福-机器学习-吴恩达-第5周笔记-反向传播 1代价函数and反向传播1代价函数2误差反向传播3直观感受反向传播2神经网络的技巧1参数的展开2梯度检验 Gradient Checking3随机初始化参数4总结神经网络3神经网络的应用4测验quiz5编程题$$1代价函数and反向传播1.1代价函原创 2017-12-03 22:42:19 · 9235 阅读 · 1 评论 -
coursera-斯坦福-机器学习-吴恩达-第9周笔记(上)-异常检测
coursera-斯坦福-机器学习-吴恩达-第9周笔记(上)-异常检测coursera-斯坦福-机器学习-吴恩达-第9周笔记上-异常检测1异常检测1引入2高斯正态分布3异常检测算法2建立一个异常检测系统1评价一个异常检测系统2异常检测vs监督学习3选择使用哪些features3多元高斯分布1多元高斯分布数学2应用多元高斯分布进行异常检测复习1异常检测异常检测(Anomaly d原创 2017-12-20 22:43:42 · 5030 阅读 · 1 评论 -
coursera-斯坦福-机器学习-吴恩达-第9周笔记(下)-推荐系统
coursera-斯坦福-机器学习-吴恩达-第9周笔记(下)-推荐系统coursera-斯坦福-机器学习-吴恩达-第9周笔记下-推荐系统1预测电影等级1任务设想2基于内容的推荐2协同过滤1协同过滤2协同过滤算法3低秩矩阵分解Low Rank Matrix Factorization1向量化低秩矩阵分解Low Rank Matrix Factorization2实现细节4复习1q原创 2017-12-21 21:18:38 · 6606 阅读 · 2 评论 -
coursera-斯坦福-机器学习-吴恩达-第6周笔记-算法改进and机器学习系统设计
coursera-斯坦福-机器学习-吴恩达-第6周笔记-算法改进and机器学习系统设计coursera-斯坦福-机器学习-吴恩达-第6周笔记-算法改进and机器学习系统设计1算法改进1评价算法11模型诊断12模型选择validation2偏置与方差21诊断偏差与方差22正则化方差与偏差23学习曲线Learning Curves24决定保留谁3复习31quiz31编程2机器学原创 2017-12-14 19:52:59 · 6398 阅读 · 0 评论 -
coursera-斯坦福-机器学习-吴恩达-第1周笔记
coursera-斯坦福-机器学习-吴恩达-第1周笔记coursera-斯坦福-机器学习-吴恩达-第1周笔记前言Introduction介绍-对应笔记lecture11 机器学习应用2 机器学习概念3 机器学习分类一个变量的线性回归 -对应lecture21 线性回归的表示2 Cost function 代价函数3 参数求解梯度下降法4 总结线性代数知识复习 -对应lectur原创 2017-11-16 21:00:09 · 3888 阅读 · 3 评论 -
逻辑回归和线性支持向量机之间的区别
逻辑回归和线性支持向量机之间的区别逻辑回归和线性支持向量机之间的区别1区别1损失函数2总结一下2两种模型使用选择1区别逻辑回归和支持向量机之间的区别也是面试经常会问的一道题。下面主要讨论逻辑回归(LR)与线性支持向量机(linear SVM)的区别。lr 和 svm本质不同在于loss function的不同,lr的损失函数是 cross entropy loss, ,svm是hinge转载 2017-12-16 18:32:56 · 8621 阅读 · 1 评论 -
coursera-斯坦福-机器学习-吴恩达-第7周笔记-支持向量机SVM
coursera-斯坦福-机器学习-吴恩达-第7周笔记-支持向量机SVMcoursera-斯坦福-机器学习-吴恩达-第7周笔记-支持向量机SVM1大间距分类器 large margin classifier1通过逻辑回归引入SVM1宽边界分类器SVM3SVM数学原理2核函数1核函数1简单例子讲解概念2核函数2SVM计算步骤3实践SVM4复习1quiz2编程1大间距分类器 lar原创 2017-12-15 21:10:30 · 12093 阅读 · 10 评论 -
浅谈协方差矩阵
浅谈协方差矩阵浅谈协方差矩阵一统计学的基本概念二为什么需要协方差三协方差矩阵四Matlab协方差实战五总结一、统计学的基本概念首先复习统计学的基本概念,并引入协方差:统计学里最基本的概念就是样本的均值、方差、标准差。首先,我们给定一个含有n个样本的集合,下面给出这些概念的公式描述:均值:标准差:方差:均值描述的是样本集合的中间点,它告诉我们的信息是有限的,而标准差给我们描述的是样本集合的各转载 2017-12-19 16:04:29 · 601 阅读 · 0 评论 -
coursera-斯坦福-机器学习-吴恩达-第10周笔记-使用大数据训练
coursera-斯坦福-机器学习-吴恩达-第10周笔记-使用大数据训练coursera-斯坦福-机器学习-吴恩达-第10周笔记-使用大数据训练大数据下的梯度下降1 大数据2 随机梯度下降3 mini-batch梯度下降4 随机梯度下降的收敛性大数据的高级技巧1在线学习2 mapreduce3quiz1 大数据下的梯度下降在接下来的几个视频原创 2018-01-07 22:27:37 · 5589 阅读 · 0 评论 -
coursera-斯坦福-机器学习-吴恩达-第11周笔记-ORC系统
coursera-斯坦福-机器学习-吴恩达-第11周笔记-ORC系统coursera-斯坦福-机器学习-吴恩达-第11周笔记-ORC系统1图像ORC1问题描述2 滑动窗sliding windows3获取大量的图片4分析2复习 quiz1图像ORC1.1问题描述在这一段介绍一种 机器学习的应用实例 照片OCR技术。 我想介绍这部分内容的原因 主要原创 2018-01-09 22:28:41 · 4193 阅读 · 0 评论 -
机器学习课程总结
1结论1.1总结和致谢在这门课中 我们花了大量的时间 介绍了诸如线性回归 逻辑回归 神经网络 支持向量机 等等一些监督学习算法, 这类算法需要带标签的数据和样本 ,比如 x(i) y(i)。然后我们也花了很多时间介绍无监督学习 ,例如 K-均值聚类 用于降维的主成分分析。 以及当你只有一系列无标签数据 x(i) 时的 异常检测算法, 当然 有时带标签的数据 也可以用于异常检测原创 2018-01-09 22:29:43 · 9489 阅读 · 1 评论 -
python使用scikit-learn计算TF-IDF
本文转载自:Eastmount大神的文章: http://www.voidcn.com/article/p-bbabkmsv-pt.html1 Scikit-learn下载安装1.1 简介1.2 安装软件2 TF-IDF基础知识2.1 TF-IDF概念2.2 举例说明计算3 Scikit-Learn中计算TF-IDF3.1 CountVectorizer...转载 2018-03-14 21:33:58 · 18614 阅读 · 3 评论 -
在Keras的Embedding层中使用预训练的word2vec词向量
文章目录1 准备工作1.1 什么是词向量?1.2 获取词向量2 转化词向量为keras所需格式2.1 获取所有词语word和词向量2.2 构造“词语-词向量”字典2.3 填充字典和矩阵2.4 在 keras的Embedding层中使用 预训练词向量*2.5 不使用“预训练”而直接生成词向量3 整体代码:在Keras模型中使用预训练的词向量3.1 读取数据3.2 句子分词3.3 *构造词向量字典3....原创 2019-05-15 15:54:32 · 20063 阅读 · 19 评论 -
coursera-斯坦福-机器学习-吴恩达-第8周笔记-无监督学习
coursera-斯坦福-机器学习-吴恩达-第8周笔记-无监督学习coursera-斯坦福-机器学习-吴恩达-第8周笔记-无监督学习1聚类算法clutering1聚类算法简介2K-means21kmeans的目标函数22随机初始化23选择类别数3考试quiz维数约减 dimensionality reduction1数据压缩2数据可视化3维度约简-主成分分析法PCA1 PCA原创 2017-12-19 22:00:53 · 6247 阅读 · 1 评论 -
coursera-斯坦福-机器学习-吴恩达-第4周笔记-神经网络
coursera-斯坦福-机器学习-吴恩达-第4周笔记-神经网络coursera-斯坦福-机器学习-吴恩达-第4周笔记-神经网络提出神经网络的动机神经网络算法1 神经元2 神经网络应用1 例子1 and与or运算2 例子23 多分类复习作业1测验2编程作业-多分类21多分类22 Neural Networks1 提出神经网络的动机前面我们学习了,线性回归、逻辑回归,他们可原创 2017-11-30 16:11:00 · 13512 阅读 · 2 评论 -
coursera-斯坦福-机器学习-吴恩达-第3周笔记-逻辑回归
coursera-斯坦福-机器学习-吴恩达-第3周笔记coursera-斯坦福-机器学习-吴恩达-第3周笔记分类 和 模型表示1分类的概念 Classification2 分类模型表示3 分类边界逻辑回归模型 logistic regression1 代价函数 cost func2 梯度下降3 高级优化方法相对于梯度下降4 复习逻辑回归多分类任务过拟合overfitting1原创 2017-11-28 11:34:06 · 6907 阅读 · 4 评论 -
李航博士的《浅谈我对机器学习的理解》 机器学习与自然语言处理
算算时间,从开始到现在,做机器学习算法也将近八个月了。虽然还没有达到融会贯通的地步,但至少在熟悉了算法的流程后,我在算法的选择和创造能力上有了不小的提升。实话说,机器学习很难,非常难,要做到完全了解算法的流程、特点、实现方法,并在正确的数据面前选择正确的方法再进行优化得到最优效果,我觉得没有个八年十年的刻苦钻研是不可能的事情。其实整个人工智能范畴都属于科研难题,包括模式识别、机器学习、搜索、规划等转载 2017-04-06 11:03:26 · 739 阅读 · 0 评论 -
1-4sklearn基础
sklearn基础sklearn基础sklearn 简介安装选择合适的机器学习方法模型入门例子-分类-KNN算法-给花朵分类笔记是观看莫烦的机器学习视频《莫烦Scikit-learn》的读书笔记,初学者强烈推荐他的视频。1 sklearn 简介Scikit learn 也简称 sklearn, 是机器学习领域当中最知名的 python 模块之一.Sklearn 包含了很多种机器学习的方式:原创 2017-06-30 08:52:09 · 764 阅读 · 0 评论 -
5 sklearn的数据集-datasets
sklearn的数据集-datasetssklearn的数据集-datasetssklearn 强大数据库文档介绍1 经典数据2 构造数据例子1房价例子2创建虚拟数据并可视化1 sklearn 强大数据库data sets,有很多有用的,可以用来学习算法模型的数据库。 eg: boston 房价, 糖尿病, 数字, Iris 花。主要有两种: - 封装好的经典数据。eg: bost原创 2017-06-30 10:25:43 · 19187 阅读 · 1 评论 -
机器学习scikit-learn入门教程
原文链接:http://scikit-learn.github.io/dev/tutorial/basic/tutorial.html章节内容在这个章节中,我们主要介绍关于scikit-learn机器学习词库,并且将给出一个学习样例。机器学习:问题设置通常,一个学习问题是通过一系列的n个样本数据来学习然后尝试预测未知数据的属性。如果每一个样本超过一个单一的数值,例如转载 2017-06-30 21:47:48 · 623 阅读 · 0 评论 -
6 模型的属性与功能
模型的属性与功能上次学了 Sklearn 中的 data sets,今天来看 Model 的属性和功能。这里以 LinearRegressor 为例,所以先导入包,数据,还有模型。model.fit 和 model.predict 就属于 Model 的功能,用来训练模型,用训练好的模型预测。然后,model.coef_ 和 model.intercept_ 属于 Model 的属性, 例如对于 L原创 2017-07-01 09:52:41 · 5266 阅读 · 0 评论 -
sklearn中常用数据预处理方法
转载自:http://2hwp.com/2016/02/03/data-preprocessing/常见的数据预处理方法,以下通过sklearn的preprocessing模块来介绍;1. 标准化(Standardization or Mean Removal and Variance Scaling)变换后各维特征均值为0,单位方差。也叫z-score规范化(零均值规范化转载 2017-07-01 10:25:53 · 2386 阅读 · 0 评论 -
7 数据预处理-数据标准化
数据预处理-数据标准化数据预处理-数据标准化正规化 Normalization例子1 - 数据标准化例子2 - 数据标准化对机器学习成效的影响正规化 Normalization这个文章知识讲解了入门的数据预处理,更多的归一化方法请看: http://blog.csdn.net/u012052268/article/details/74028952 sklearn中常用数据预处理方法由于原创 2017-07-01 11:10:07 · 1471 阅读 · 0 评论 -
8 交叉验证 1 Cross-validation
交叉验证 1 Cross-validation交叉验证 1 Cross-validation介绍例子1 - 如何选择正确的Model 基础验证法例子2 - 如何选择正确的Model 交叉验证法Cross Validation例子3 - 如何选择模型参数 以准确率accuracy判断例子4 - 如何选择模型参数 以平均方差Mean squared error判断介绍Sklearn 中的 C原创 2017-07-01 16:12:45 · 1267 阅读 · 0 评论 -
11 保存模型
保存模型保存模型picklejoblib总算到了最后一次的课程了,我们训练好了一个Model 以后总需要保存和再次预测, 所以保存和读取我们的sklearn model也是同样重要的一步。sklearn官方文档主要介绍两种保存Model的模块pickle与joblib。1 pickle首先简单建立与训练一个SVCModel。from sklearn import svmfrom sklear原创 2017-07-02 11:59:43 · 699 阅读 · 0 评论 -
9 交叉验证2 overfitting
交叉验证2 过拟合overfitting交叉验证2 过拟合overfitting介绍介绍sklearn.learning_curve 中的 learning curve 可以很直观的看出我们的 model 学习的进度, 对比发现有没有 overfitting 的问题. 然后我们可以对我们的 model 进行调整, 克服 overfitting 的问题.from sklearn.learning_原创 2017-07-02 12:01:49 · 619 阅读 · 0 评论 -
10 交叉验证3
交叉验证3交叉验证3介绍例子 - 藉由 validation_curve 来检视模型参数有没有过拟合Overfitting的问题介绍连续三节的交叉验证(cross validation)让我们知道在机器学习中验证是有多么的重要, 这一次的 sklearn 中我们用到了sklearn.learning_curve当中的另外一种, 叫做validation_curve,用这一种曲线我们就能更加直观原创 2017-07-02 12:02:33 · 1054 阅读 · 0 评论 -
[Machine Learning] 梯度下降法的三种形式BGD、SGD以及MBGD
阅读目录1. 批量梯度下降法BGD2. 随机梯度下降法SGD3. 小批量梯度下降法MBGD4. 总结 在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练。其实,常用的梯度下降法还具体包含有三种不同的形式,它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 一般线性回归函数的假设函数为:h转载 2017-06-26 20:44:24 · 455 阅读 · 0 评论 -
自然语言处理 怎么获得数据集 中文语料集?
深度学习 自然语言处理 怎么获得数据集 中文语料集?深度学习 自然语言处理 怎么获得数据集 中文语料集爬虫数据平台1 数据堂2 搜狗实验室3 自然语言处理与信息检索共享平台4 聚数力人工收集的现如今构件人工智能、机器学习甚至深度学习系统,变得越来越容易。但是让这些模型或者系统真正有价值的却是“数据”。那么如果刚刚上手机器学习或者深度学习,怎么寻找合适的数据集呢?下面就介绍一些获取数据原创 2017-09-19 22:15:17 · 15717 阅读 · 1 评论 -
coursera-斯坦福-机器学习-吴恩达-第2周笔记
coursera-斯坦福-机器学习-吴恩达-第2周笔记目录: [toc]1 多元线性回归1.1 方程多元线性回归指的就是有多个X的情况。比如与房价y有关的变量有:房屋面积x1;位置x2 。此时,我们就要把我们的方程h_\theta(x) = \theta_0 + \theta_1*x修改为:h_\theta(x) = \theta_0 + \theta_1x_1 + \theta_2x_2 +原创 2017-11-21 11:15:30 · 2790 阅读 · 2 评论 -
第1章 深度学习简介
说明:本文是对邱锡鹏《神经网络与深度学习》的读书笔记。供自己学习总结使用。第1章 深度学习简介第1章 深度学习简介神经元网络深度学习革命深度学习历史深度学习难点神经元网络神经元网络是在计算机上把虚拟的神经元排列成层状,模拟真正的神 经细胞之间的电信号。借此实现大脑从各式各样的数据中提取本质概 念的功能。深度学习是由在计算机上模拟人类神经回路的“神经元网络”技术发 展而来。所谓“深度”原创 2017-03-27 17:07:25 · 758 阅读 · 0 评论