深度学习&数据挖掘
文章平均质量分 69
FishBear_move_on
github 地址 https://github.com/Jayhello
展开
-
Alexnet总结/论文笔记
本文主要从如下几个方面分析深度学习Alexnet网络:1. 为什么Alexnet能在图2012 ImageNet LSVRC-2012 像识别(分类) competition取得这么好的成绩2. Alexnet的网络结构以及,参数数量的计算3. 为了避免过拟合使用的技巧:Data Augmentation(数据增强),正则化Relu以及dropout,局部响应归一化LRN。...原创 2018-08-13 20:52:59 · 4141 阅读 · 0 评论 -
python决策树-1
本文主要内容:通过简单的示例说明决策树,以及决策树的定义信息熵概念,以及决策树,树生成节点划分的依据。三种计算方法方法:1.信息增益(由ID3算法作为特征选取标准)2.信息增益比/率(由C4.5算法作为特征选取标准)3.基尼指数(由CART作为特征选取标准)树的生成ID3算法,C4.5算法算法python实现以及示例决策树示例,以及决策树的定义下图决策树预测贷款用户是否具有偿还贷款的能原创 2017-12-08 21:01:37 · 606 阅读 · 0 评论 -
knn K近邻算法python实现
本文主要内容:knn K近邻算法原理sklearn knn的使用,以及cross validation交叉验证numpy 实现knnknn改进方法1 knn K近邻算法原理K近邻算法:给定一个训练数据集,对新的的输入实例,在训练数据集中找到与该实例最邻近的的K个实例,这K个实例的多数属于某个类,就把该实例分为这个类。KNN 是 supervised learning, non parame原创 2017-10-08 21:06:34 · 6855 阅读 · 0 评论 -
python感知机实现
感知机(perceptron)作为机器学习的基础,理解了感知机的原理以及实现,就基本知道机器学习的本质了: “通过对错误数据集的学习,不断调整更新自身的参数,使得模型参数对当前系统的输入数据集,得到最佳输出”上面是自己个人的理解。 本文主要是参考了李航的《统计学习方法》,然后使用python实现了感知机,并对二维数据集进行分类,验证了算法的有效性。本文主要内容如下:感知机基本原理算法原创 2017-09-22 21:05:50 · 7180 阅读 · 1 评论 -
深度学习样本生成data augmentation
在做深度学习图片分类的时候,很多是有些样本不足这个时候我们就会自己生成样本,如opencv对图片旋转,扭曲等等操作。google了一下deep learning data augmentation 发现了github几种开源的的方法主要是使用opencv结合python的PIL库。最终发现Augmentor好用 本文内容如下:传统的opencv结合python的multiprocessing任务原创 2017-08-29 21:12:43 · 12406 阅读 · 6 评论 -
CNN卷积神经网络原理简介+代码详解
@author:wepon@blog:http://blog.csdn.net/u012162613/article/details/43225445本文介绍多层感知机算法,特别是详细解读其代码实现,基于Python theano,代码来自:Convolutional Neural Networks (LeNet)。经详细注释的代码和原始代码:放在我的github地转载 2017-08-22 09:00:59 · 17410 阅读 · 3 评论 -
文本分类(六):使用fastText对文本进行分类--小插曲
http://blog.csdn.net/lxg0807/article/details/52960072环境说明:python2.7、Linux 自己打自己脸,目前官方的包只能在linux,mac环境下使用。误导大家了,对不起。 测试facebook开源的基于深度学习的对文本分类的fastText模型 fasttext Python包的安装:pip install f转载 2017-06-28 15:59:46 · 1800 阅读 · 3 评论 -
浅谈协方差矩阵
一、统计学的基本概念统计学里最基本的概念就是样本的均值、方差、标准差。首先,我们给定一个含有n个样本的集合,下面给出这些概念的公式描述:均值:标准差:方差:均值描述的是样本集合的中间点,它告诉我们的信息是有限的,而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。以这两个集合为例,[0, 8, 12, 20]和[8, 9, 11, 12],转载 2017-04-03 20:38:49 · 340 阅读 · 0 评论 -
循环神经网络——实现LSTM
gitbook阅读地址:循环神经网络--实现LSTM · 超智能体梯度消失和梯度爆炸网络回忆:在《循环神经网络——介绍》中提到循环神经网络用相同的方式处理每个时刻的数据。动态图:数学公式:设计目的:我们希望循环神经网络可以将过去时刻发生的状态信息传递给当前时刻的计算中。实际问题:但普通的RNN结构却难以传递相隔较远的信息。转载 2017-03-03 15:29:57 · 1805 阅读 · 0 评论 -
循环神经网络教程第四部分-用Python和Theano实现GRU/LSTM循环神经网络
作者:徐志强链接:https://zhuanlan.zhihu.com/p/22371429来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。本篇教程的代码在Github上。这里是循环神经网络教程的最后一部分,前几部分别是:循环神经网络教程第一部分-RNN简介循环神经网络教程第二部分-用python,numpy,theano实现一个RNN转载 2017-02-03 16:28:54 · 3064 阅读 · 0 评论 -
循环神经网络教程第三部分-BPTT和梯度消失
作者:徐志强链接:https://zhuanlan.zhihu.com/p/22338087来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。本篇是循环神经网络教程的第三部分。在前一篇教程中,我们从头开始实现了RNN,但并没有深入到BPTT如何计算梯度的细节中去。在本部分,我们将对BPTT做一个简短的介绍,并解释它和传统的反向传播有什么不同。然后转载 2017-02-03 15:12:35 · 2016 阅读 · 0 评论 -
python线性回归示例
下面给出sklearn 库线性回归示例# coding:utf-8import matplotlib.pyplot as pltimport seaborn as snsimport numpy as npfrom sklearn.linear_model import LinearRegressionsns.set()def get_data(): rng = np.random原创 2017-12-09 20:38:48 · 1057 阅读 · 0 评论 -
概率论-最大似然估计
机器学习EM算法以及逻辑回归算法模型参数的求解都用到了最大似然估计,本文讲解其原理。 极大似然估计,通俗理解来说,就是利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值! 换句话说,极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。最大似然估计通常是将目标函数转化为对数的形式,大大的简化了参数求解的运算。下面给出两个示原创 2017-12-11 20:20:12 · 1510 阅读 · 0 评论 -
GoogleNet论文笔记/小结
GoogLeNet和VGG是2014年ImageNet挑战赛(ILSVRC14)的双雄,GoogLeNet获得了第一名、VGG获得了第二名。本文主要内容如下:GoogLeNet分析了现有提升网络精度的常见办法及缺点GoogLeNet解决上面问题的办法,Inception基本原理,以及为什么想到使用Inception。为什么不叫“GoogleNet”,而叫“GoogLeNet”Goo...原创 2018-08-15 20:46:50 · 2013 阅读 · 0 评论 -
VGG论文笔记/小结
VGG论文的主要内容如下:VGG研究了卷积网络深度在大规模的图像识别环境下对准确性的影响。主要贡献是使用非常小的(3×3)卷积滤波器架构对网络深度的增加进行了全面评估,这表明通过将深度推到16-19加权层可以实现对现有技术配置的显著改进。1 不同大小的核的区别,以及Alexnet与VGG对比1.1 首先说明下小核与大核的区别:VGG相比AlexNet的一个改进是采用连续的...原创 2018-08-14 20:42:00 · 2136 阅读 · 0 评论 -
python pyplot accuracy cost曲线绘制
本文主要内容是使用python matplotlib绘制accuracy, cost曲线。在使用机器学习算法训练时往往需要输出训练的accuracy以及cost,但是最直观的方法还是绘制对应的曲线(根据训练的迭代期n),本文给出简要的绘制方法。代码如下,也可见stackoverflow:import numpy as npimport matplotlib.pyplot as plt...原创 2018-07-22 20:28:55 · 2812 阅读 · 0 评论 -
tensorflow CNN mnist 示例
本文给出使用tensorflow使用CNN构架的mnist分类问题:构架图如下:代码如下:1. 准备输入数据:# declare the training data placeholders# input x - for 28 x 28 pixels = 784 - this is the flattened image data that is drawn from# mnist.train.原创 2018-03-27 20:19:00 · 1009 阅读 · 1 评论 -
tensorflow mnist神经网络示例
本文讲述使用tensorflow解决mnist分类问题:使用一个隐藏层神经网络784 * 10分类mnist使用两个隐藏层神经网络784 * 300 * 10分类mnist其中单层784 * 4隐藏层的网络构架如下图:具体代码如下:# coding:utf-8import tensorflow as tffrom tensorflow.examples.tutorials.mnist imp原创 2018-03-26 21:00:49 · 559 阅读 · 0 评论 -
crnn docker/nvidia-docker 安装
本文主要是记录使用docker/nvidia-docker安装深度学习图片文字识别,开发运行环境. 在做图片文字识别的,需要用到CTPN以及crnn,服务器是ubuntu16的,但是上述两种框架(github现有的)只能运行在ubuntu14上面。考虑到,发布等问题,决定使用docker在ubuntu16搭建ubuntu14 cuda7.5 cudnn3开发运行环境。 crnn的原创 2018-03-22 19:29:11 · 1194 阅读 · 1 评论 -
kaggle示例1—研究生录取判断问题
问题描述:UCLA(加利福尼亚大学洛杉矶分校)研究生录取的二分类问题,数据来源:http://www.ats.ucla.edu/stat/data/binary.csv 使用的属性主要有下面四列(前三列为属性,最后一列为结果(类别能否被录用):gpagre分数rank表示本科生母校的声望admit则是二分类目标变量(binary target variable),它表明考生最终是否被录取。原创 2017-12-10 20:53:29 · 3130 阅读 · 1 评论 -
CTPN docker/nvidia-docker 安装
本文主要是记录使用docker/nvidia-docker安装深度学习图片文字识别,开发运行环境. 在做图片文字识别的,需要用到CTPN以及crnn,服务器是ubuntu16的,但是上述两种框架(github现有的)只能运行在ubuntu14上面。考虑到,发布等问题,决定使用docker在ubuntu16搭建ubuntu14 cuda7.5 cudnn3开发运行环境。服务器系统为ubuntu1原创 2018-01-21 19:39:29 · 1565 阅读 · 1 评论 -
kaggle-2美国人口普查年收入50K分类
本文主要是使用xgboost, RandomForestClassifier算法实现美国1994年人口普查数据,居民年收入是否超过50K的分类问题。主要内容如下:1 数据预处理数据信息查看,添加对应的列标签缺失值处理,以及属性值替换Ordinal Encoding to Categoricals(string 特征转化为整数编码)2 模型训练以及验证xgboost算法分类以及GridS原创 2017-12-31 21:29:07 · 21610 阅读 · 7 评论 -
python 逻辑回归
逻辑回归模型所做的假设是: 相应的决策函数为: y=1,if P(y=1|x)>0.5 (实际应用时特定的情况可以选择不同阈值,如果对正例的判别准确性要求高,可以选择阈值大一些,对正例的召回要求高,则可以选择阈值小一些)那么,给定一个逻辑回归模型,如何来调整参数θ?首先我们假设:上面两个公式是为了,方便后面的计算。 假设我们有n个独立的训练样本{(x1, y1) ,(x2, y2),原创 2017-12-09 20:54:38 · 1112 阅读 · 0 评论 -
python朴素贝叶斯实现-2
本文主要内容:1. 朴素贝叶斯为何需要特征条件独立2. 朴素贝叶斯三种模型:特征是离散的时候,使用多项式模型特征是连续变量的时候,应该采用高斯模型特征的取值只能是1和0伯努利模型)3. 多项式模型的python实现 朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;原创 2017-12-04 09:54:30 · 1647 阅读 · 2 评论 -
python朴素贝叶斯实现-1( 贝叶斯定理,全概率公式 )
朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。在研究朴素贝叶斯 之前,先回顾下:概率论中的条件概率以及贝叶斯定理。 本部分内容基本来源于 盛骤, 谢式千, 潘承毅《概率论与数理统计 第四版浙江大学》1. 条件概率(conditional probability)下面给出一个例题:2. 全概率公式与贝叶斯定理下面在给出个示例:另外一个示例 以上内容基原创 2017-12-04 09:10:13 · 3367 阅读 · 0 评论 -
神经网络与深度学习(4):改进神经网络的学习方法
本文总结自《Neural Networks and Deep Learning》第3章的内容。 目录交叉熵代价函数(The cross-entropy cost function)柔性最大值(softmax)过度拟合(Overfitting)正则化(regularization)权重初始化(Weight initialization)转载 2017-02-14 20:40:29 · 1203 阅读 · 0 评论 -
支持向量机学习笔记:数学过程及经典Tutorial
http://blog.csdn.net/linj_m/article/details/18322149 ( SVM系列 )支持向量机,听名字,让人觉得很奇特,到底什么是支持向量机,是一种什么机器???后来上了模式识别课才知道,原来支持向量机就是一个算法,不是什么机器,而且归结起来是一种信号处理方式,底子还是《现代信号处理》中内容。SVM的历史过程:早在20世纪转载 2017-02-13 17:17:59 · 698 阅读 · 0 评论 -
贝叶斯推断及其互联网应用(二):过滤垃圾邮件
作者: 阮一峰日期: 2011年8月27日上一次,我介绍了贝叶斯推断的原理,今天讲如何将它用于垃圾邮件过滤。========================================贝叶斯推断及其互联网应用作者:阮一峰(接上文)七、什么是贝叶斯过滤器?垃圾邮件是一种令人头痛的顽症,困扰着所有的互联网用户。转载 2016-10-09 12:02:12 · 543 阅读 · 0 评论 -
机器学习/深度学习/自然语言处理学习路线
原文地址:http://www.cnblogs.com/cyruszhu/p/5496913.html未经允许,请勿用于商业用途!相关请求,请联系作者:yunruizhu@126.com转载请附上原文链接,谢谢。 机器学习/深度学习/自然语言处理学习路线 1 基础l Andrew NG 的 Machine Learning视频。连接:主页,资料。 l 2转载 2016-09-06 11:29:21 · 918 阅读 · 0 评论 -
利用 word2vec 训练的字向量进行中文分词
http://blog.csdn.net/itplus/article/details/17122431 最近针对之前发表的一篇博文《Deep Learning 在中文分词和词性标注任务中的应用》中的算法做了一个实现,感觉效果还不错。本文主要是将我在程序实现过程中的一些数学细节整理出来,借此优化一下自己的代码,也希望为对此感兴趣的朋友提供点参考。文中重点介绍训练算法中的转载 2016-09-03 17:02:47 · 1128 阅读 · 0 评论 -
最小二乘法和梯度下降法有哪些区别? 以及梯度下降法Python实现
相同1.本质相同:两种方法都是在给定已知数据(independent & dependent variables)的前提下对dependent variables算出出一个一般性的估值函数。然后对给定新数据的dependent variables进行估算。2.目标相同:都是在已知数据的框架内,使得估算值与实际值的总平方差尽量更小(事实上未必一定要使用平方),估算值与实际值的总平方差的公式为转载 2016-09-09 15:04:56 · 2590 阅读 · 0 评论 -
深度学习概述:从感知机到深度网络 (英文版)
A Deep Learning Tutorial: From Perceptrons to Deep NetworksIn recent years, there’s been a resurgence in the field of Artificial Intelligence. It’s spread beyond the academic world with major转载 2016-08-07 15:42:52 · 3714 阅读 · 0 评论 -
在Ubuntu 14.04上安装Caffe
http://suanfazu.com/t/ubuntu-14-04-caffe/447/1安装依赖sudo apt-get install libatlas-base-devsudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev li转载 2016-07-22 10:29:42 · 450 阅读 · 0 评论 -
机器学习经典书籍
http://suanfazu.com/t/topic/15前面有一篇机器学习经典论文/survey合集376。本文总结了机器学习20的经典书籍,包括数学基础和算法理论的书籍。本文会保持更新,欢迎推荐。入门书单《数学之美》 PDF806作者吴军大家都很熟悉。以极为通俗的语言讲述了数学在机器学习和自然语言处理等领域的应用。《Programming Coll转载 2016-07-22 09:13:46 · 4822 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(二)
Deep Learning(深度学习)学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者:Zouxyversion 1.0 2013-04-08声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2)本文仅供学转载 2016-07-20 00:10:51 · 400 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(一)
Deep Learning(深度学习)学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者:Zouxyversion 1.0 2013-04-08 声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2)本文仅转载 2016-07-20 00:02:47 · 1121 阅读 · 0 评论 -
caffe示例实现之4在MNIST手写数字数据集上训练与测试LeNet
http://blog.csdn.net/liumaolincycle/article/details/47336921本文主要来自Caffe作者Yangqing Jia网站给出的examples。@article{jia2014caffe, Author = {Jia, Yangqing and Shelhamer, Evan and Donahue, Jeff and Ka转载 2016-07-28 21:39:11 · 6512 阅读 · 1 评论 -
深度学习概述:从感知机到深度网络
http://www.cnblogs.com/xiaowanyer/p/3701944.html (注:本文译自一篇博客,作者行文较随意,我尽量按原意翻译,但作者所介绍的知识还是非常好的,包括例子的选择、理论的介绍都很到位,由浅入深,源文地址) 近些年来,人工智能领域又活跃起来,除了传统了学术圈外,Google、Microsoft、facebook等工业界优秀企业也纷纷成立相转载 2016-07-25 21:32:44 · 1806 阅读 · 0 评论 -
SVM-支持向量机算法概述
(一)SVM的背景简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中[10]。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的,根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度,Ac转载 2016-04-14 16:38:41 · 550 阅读 · 0 评论 -
卷积神经网络全面解析
卷积神经网络(CNN)概述从多层感知器(MLP)说起感知器多层感知器输入层-隐层隐层-输出层Back Propagation存在的问题从MLP到CNNCNN的前世今生CNN的预测过程卷积下采样光栅化多层感知器预测CNN的参数估计多层感知器层光栅化层池化层卷积层最后一公里:SoftmaxCNN的实现思路其他最近仔细学转载 2016-10-12 11:45:23 · 3811 阅读 · 0 评论