机器学习
文章平均质量分 79
Levine-Huang
这个作者很懒,什么都没留下…
展开
-
02-深度学习中的Data Augmentation方法
02-深度学习中的Data Augmentation方法在深度学习中,为了避免出现过拟合(Overfitting),通常我们需要输入充足的数据量。当数据量不够大时候,常常采用以下几种方法:Data Augmentation:通过平移、 翻转、加噪声等方法从已有数据中创造出一批“新”的数据,人工增加训练集的大小。Regularization:数据量比较小会导致模型过拟合, 使得训练误差很小而测试误原创 2017-02-23 09:10:15 · 5244 阅读 · 0 评论 -
ML之02-TF-IDF算法原理及其应用
TF-IDF算法TF-IDF介绍TF-IDF算法步骤TF-IDF算法实现TF-IDF算法本身和实现过程中可能的影响因素TF-IDF应用场景TF-IDF算法应用示例余弦相似性cosine similiarityReference如何借助计算机提取文章的关键词(Automatic Keyphrase extraction),或比较两篇文章的相似度?TF-IDF算法 余弦相似性(c原创 2017-06-20 08:26:08 · 1131 阅读 · 0 评论 -
SparkMLlib之02-Pipeline介绍及其应用
Pipeline中的主要概念Pipeline组件TransformersEstimatorsParameters保存和加载PipelinePipeline应用Example1Example2一个典型的机器学习机器学习过程通常会包含:源数据 ETL,数据预处理,指标提取,模型训练与交叉验证,新数据预测等。我们可以看到这是一个包含多个步骤的流水线式工作,也就是说数据从收集开始,要经历多原创 2017-06-20 08:17:48 · 712 阅读 · 0 评论 -
SparkMLlib之01-Spark机器学习库介绍
Spark机器学习库简介MLlib是Spark的机器学习库。旨在简化机器学习的工程实践工作,并方便扩展到更大规模。MLlib由一些通用的学习算法和工具组成,包括分类、回归、聚类、协同过滤、降维等,同时还包括底层的优化原语和高层的管道API。它提供如下工具:机器学习算法:常规机器学习算法包括分类、回归、聚类和协同过滤。特征工程:特征提取、特征转换、特征选择以及降维。管道:构造、评估和调整的管道的原创 2017-05-07 20:36:02 · 708 阅读 · 0 评论 -
ML之01-核密度估计Kernel Density Estimation(KDE)
由给定样本集合求解随机变量的分布密度函数问题是概率统计学的基本问题之一。解决这一问题的方法包括参数估计和非参数估计。原创 2017-05-07 17:05:09 · 5096 阅读 · 0 评论 -
00-Keras之入门介绍
00-Keras之入门介绍Keras是一个高层神经网络库,Keras由纯Python编写而成并基于Tensorflow或Theano。Keras 为支持快速实验而生,能够把你的idea迅速转换为结果。Keras特点简易和快速的原型设计(keras具有高度模块化,极简,和可扩充特性)支持CNN和RNN,或二者的结合支持任意的链接方案(包括多输入和多输出训练)无缝CPU和GPU切换Keras设原创 2017-02-19 11:22:56 · 651 阅读 · 0 评论 -
01-Keras之用MNIST数据集训练一个DNN
01-Keras之用MNIST数据集训练一个DNN 模型code# -*- coding: utf-8 -*-'''Trains a simple deep NN on the MNIST dataset.Gets to 98.40% test accuracy after 20 epochs(there is *a lot* of margin for parameter tuning).2原创 2017-02-19 16:33:45 · 6115 阅读 · 1 评论 -
02-Keras之网络层思维导图
更多文章欢迎关注微信公众号:大数据学苑(Bigdata-Eden)原创 2017-02-19 17:45:40 · 1301 阅读 · 2 评论 -
03-Keras之用MNIST数据集训练一个CNN
03-Keras之用MNIST数据集训练一个CNN模型code# -*- coding: utf-8 -*-'''Trains a simple convnet on the MNIST dataset.Gets to 99.25% test accuracy after 12 epochs(there is still a lot of margin for parameter tuning).原创 2017-02-19 18:31:44 · 1406 阅读 · 0 评论 -
ML-0101-梯度下降小结
基本概念梯度梯度下降梯度下降的相关概念梯度下降算法算法过程梯度下降的各种变体BGDSGDMBGD批量梯度下降Batch gradient descent随机梯度下降Stochastic gradient descent小批量梯度下降Mini-batch gradient descent梯度下降的算法调优梯度下降法和其他无约束优化算法的比较无约束优化算法无约束优化算法的比较原创 2017-10-25 08:48:47 · 1020 阅读 · 0 评论