深度学习/机器学习
文章平均质量分 59
看穿数据之美
机器学习/深度学习/数据挖掘/推荐算法,微信为oppo62258801(同13011197941),邮箱为lcqbit11@163.com,欢迎学习交流!
展开
-
机器学习中熵、交叉熵、KL散度(相对熵)之间的关系
文章目录1 信息量2 熵3 相对熵(KL散度)4 交叉熵1 信息量信息的信息量大小和它的不确定性有很大的关系,如果一句话需要很多外部信息才能确定的话,那么这句话的信息就很大,例如你说‘明天可能是晴天’,那你需要去看天气预告等去预测明天是否晴天,有一定的不确定性,如果你说‘今天是周五,明天是周六’,那么这句话就没什么信息量,因为这是既定的事实,确定性很高。因此我们就将事件x_0的信息量定义如下...原创 2020-02-14 12:50:57 · 1173 阅读 · 0 评论 -
L2和L1正则化防止过拟合-贝叶斯角度和约束优化角度的解释
文章目录L2正则化约束优化角度贝叶斯角度L1正则化约束优化角度贝叶斯角度L1和L2正则化方法对于机器学习模型来说都具有防止模型过拟合的作用,通常我们需要理解他们是如何发挥作用的。L1、L2原理的解释可以从两个角度:带约束条件的优化求解(拉格朗日乘子法)贝叶斯学派:最大后验概率L1正则化相当于为参数w加入了拉普拉斯分布的先验。L2正则化相当于为参数w加入了高斯分布的先验。L2正...原创 2020-02-11 22:32:55 · 1443 阅读 · 0 评论 -
Xgboost原理-XGBoost论文精读与总结-A Scalable Tree Boosting System
文章目录xgboost介绍树提升模型正则化的学习目标梯度树提升算法学习率和列采样分裂发现算法精确贪心算法近似算法加权分位数骨架稀疏感知分裂发现算法系统设计用于并行学习的列block时间复杂度分析缓存感知访问用于核外计算的blockxgboost各种tricks总结:xgboost介绍xgboost特点:提出了高效的、可扩展的、端到端的树提升系统;针对系数数据和加权分位数架构提出了一种创新...原创 2019-12-08 19:23:22 · 751 阅读 · 0 评论 -
YouTube视频推荐中的召回模型和排序模型-Deep Neural Networks for YouTube Recommendations
文章目录1.YouTube论文概述2.召回模型3.排序模型特征表达特征工程离散特征embedding化连续特征归一化建模观看时间Hidden layers的实验参考资料1.YouTube论文概述YouTube在16年发的这篇经典paper,是同时解决了推荐系统的中召回问题和排序问题,因此也有两个两个网络模型:1.召回模型:从上百万的视频库中选出数百个与用户最相关的视频;2.排序模型:从上...原创 2019-11-14 00:17:57 · 4412 阅读 · 4 评论 -
史上最详细的梯度下降优化算法介绍(从SGD到Adam至Lookahead)
文章目录1.介绍2.常见优化算法2.1 梯度下降法及其变种2.1.1 批梯度下降法2.1.2 随机梯度下降法2.1.3 小批量梯度下降法2.1.4 梯度下降法的缺点2.2 梯度下降法的优化算法2.2.1 Momentum-动量法2.2.2 Nesterov-加速梯度下降法2.2.3 Adagrad-自适应梯度2.2.4 Adadelta2.2.5 RMSprop2.2.6 Adam-自适应矩估计2...原创 2019-11-21 01:22:04 · 19192 阅读 · 1 评论 -
L2正则化解决模型过拟合问题
什么是L2正则化L2正则化也有防止模型过拟合的能力,但是相比于L1正则化(想再学习下L1正则化原理,请参考 L1正则化解决模型过拟合问题),两者防止过拟合的方式大有区别,首先看下加入L2正则化的模型损失函数:JL2(w)=L(w)+λ2nw2J_{L2}(w) = L(w) + \frac{\lambda}{2n}w^2JL2(w)=L(w)+2nλw2对于原始损失函数求一阶导为:...原创 2019-11-16 20:03:43 · 1210 阅读 · 0 评论 -
L1正则化解决模型过拟合问题
什么是L1正则化在机器学习任务中,对于一个参数模型,优化参数时一定伴随着损失函数的建立与优化。通常不加入L1正则化的损失函数为JL1(w)=L(w)J_{L1}(w) = L(w)JL1(w)=L(w)加入L1正则化的损失函数为JL1(w)=L(w)+λ∣w∣J_{L1}(w) = L(w) + \lambda|w|JL1(w)=L(w)+λ∣w∣所以L1正则化就是在原来损...原创 2019-11-16 18:58:41 · 1111 阅读 · 0 评论 -
ubuntu16.04安装caffe以及各种问题汇总
本文参考了: https://github.com/BVLC/caffe/wiki/Ubuntu-16.04-or-15.10-Installation-Guide https://gist.github.com/wangruohui/679b05fcd1466bb0937f#file-caffe-ubuntu-15-10-md http://blog.csdn.net/g0m3e/a转载 2017-02-21 20:53:15 · 1863 阅读 · 0 评论 -
caffe中HDF5层及数据生成
HDF 文件结构包括一个file id(文件号)、至少一个 data descriptor (数据描述符)、没有或多个 data element(数据内容)数据内容。file id (文件号)是一个 32 比特的值,最多占用 HDF 文件的头4 个字节。通过读取这个值,应用程序就知道此文件是否是一个HDF 文件Data descriptor block(数据块描述符)包含一转载 2017-02-22 18:49:30 · 1472 阅读 · 0 评论 -
使用caffe的python接口实现内部参数可视化
1。这里并不介绍如何训练cnn及caffe配置,主要介绍如何实现cnn内部参数可视化。#这是我训练时使用的train.prototxt文件,在实现可视化之前首先需要对这个文件进行修改,#trian.prototxt文件的前2层及尾部需要修改,修改成train_deploy.prototxt文件。name: "face_train"layer { name: "face" type转载 2017-03-17 14:51:21 · 476 阅读 · 0 评论 -
(Caffe,LeNet)反向传播(六)
本文地址:http://blog.csdn.net/mounty_fsc/article/details/51379395本部分剖析Caffe中Net::Backward()函数,即反向传播计算过程。从LeNet网络角度出发,且调试网络为训练网络,共9层网络。具体网络层信息见 (Caffe,LeNet)初始化训练网络(三) 第2部分本部分不介绍反向传播算法的理论原理,以下介绍基转载 2017-03-08 11:07:24 · 627 阅读 · 0 评论 -
Caffe学习:Layers
目录:Vision LayersConvolutionPoolingLocal Response Normalization LRNim2colLoss LayersSoftmaxSum-of-Squares EuclideanHinge MarginSigmoid Cross-EntropyInfogainAccuracy and Top-kAct转载 2017-03-04 20:14:41 · 379 阅读 · 0 评论 -
Matlab批量读取元胞数组中数据保存到txt文件中(WIDER FACE数据集中,读取人脸标注矩形框信息)
WIDER FACE:http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/1、文件说明:"wider_face_split.zip" 文件包含三个子文件: wider_face_train.mat, wider_face_val.mat, andwider_face_test.mat.其中,每个子文件中元胞数组:The 'event转载 2017-02-26 02:29:43 · 1254 阅读 · 0 评论 -
【深度学习】caffe 中的一些参数介绍
caffe 参数介绍solver.prototxtnet: "models/bvlc_alexnet/train_val.prototxt" test_iter: 1000 # test_interval: 1000 # base_lr: 0.01 # 开始的学习率lr_policy: "step" # 学习率的drop是以gamma转载 2017-03-04 21:53:42 · 274 阅读 · 0 评论 -
caffe层解读系列-softmax_loss
Loss Function可选参数使用方法扩展使用Loss Functionsoftmax_loss的计算包含2步:(1)计算softmax归一化概率(2)计算损失这里以batchsize=1的2分类为例: 设最后一层的输出为[1.2 0.8],减去最大值后为[0 -0.4], 然后计算归一化概率得到[0.转载 2017-03-05 01:37:59 · 355 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(三)
Deep Learning(深度学习)学习笔记整理系列zouxy09@qq.comhttp://blog.csdn.net/zouxy09作者:Zouxyversion 1.0 2013-04-08声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。转载 2017-03-18 16:42:53 · 432 阅读 · 0 评论 -
生成hdf5文件用于多标签训练
导入相关库import randomfrom PIL import Imageimport numpy as npimport h5py1234512345文件配置IMAGE_DIR = ['image_train', 'image_test']HDF5_FILE = ['hdf5_train.h5', 'hdf5_test.h5']LIST_FILE = ['list转载 2017-02-26 22:20:32 · 1349 阅读 · 2 评论 -
深度学习数据集
海量数据(又称大数据)已经成为各大互联网企业面临的最大问题,如何处理海量数据,提供更好的解决方案,是目前相当热门的一个话题。类似MapReduce、 Hadoop等架构的普遍推广,大家都在构建自己的大数据处理,大数据分析平台。相应之下,目前对于海量数据处理人才的需求也在不断增多,此类人才可谓炙手可热!越来越多的开发者把目光转移到海量数据的处理上。但是不是所有人都能真正接触到,或者有机会去处转载 2017-03-06 00:35:52 · 1153 阅读 · 0 评论 -
caffe学习笔记3.2--前向传播和反向传播
caffe学习笔记3从3.1开始主要翻译一下caffe的官方文档,写的非常好,忍不住要作一下。本篇翻译来自caffe官网的:http://caffe.berkeleyvision.org/tutorial/forward_backward.html前向传播和反向传播是计算神经网络非常重要的部分。考虑一个简单的逻辑回归分类问题前向传播:通过网络的输入计算输出结果的过程,在前向传播中,转载 2017-03-07 22:25:51 · 911 阅读 · 0 评论 -
深度学习21天实战Caffe学习笔记--笔记5--caffe中前向传播、反向传播及最优化求解过程
1. 前向传播(1)前向传播时,由数据读取层获取数据,经过逐层处理,带最后一层(可能是损失层或特征层)得到输出。(2)网络路径实际上是一个有向无环图(Directed Acycline Graph),DAG。(3)DAG构造过程。从.prototxt文件读取网络结构,并获得NetParameter对象的初始化值,使用Init()函数实现初始化。Init()完成网络初始化和层初始化的操作转载 2017-03-07 22:29:10 · 1588 阅读 · 0 评论 -
CNN笔记:通俗理解卷积神经网络
通俗理解卷积神经网络(cs231n与5月dl班课程笔记)1 前言 2012年我在北京组织过8期machine learning读书会,那时“机器学习”非常火,很多人都对其抱有巨大的热情。当我2013年再次来到北京时,有一个词似乎比“机器学习”更火,那就是“深度学习”。 本博客内写过一些机器学习相关的文章,但上一篇技术文转载 2017-03-24 02:48:31 · 639 阅读 · 0 评论 -
NLP+VS︱深度学习数据集标注工具、图像语料数据库、实验室搜索ing...
~~因为不太会使用OpenCV、matlab工具,所以在找一些比较简单的工具。 . .一、NLP标注工具BRATBRAT是一个基于web的文本标注工具,主要用于对文本的结构化标注,用BRAT生成的标注结果能够把无结构化的原始文本结构化,供计算机处理。利用该工具可以方便的获得各项NLP任务需要的标注语料。以下是利用该工具进行命名实体识别任务的标注例子。 WeTest舆情团队在转载 2017-04-10 16:52:01 · 8123 阅读 · 0 评论 -
人脸识别之DeepFace
该论文为2016年的一篇ECCV,ADiscriminative Feature Learning Approach for Deep Face Recognition。还是深圳先进院乔宇老师组的一篇。不管是思想还是效果都非常的棒。论文思想:整体流程就是读取输入的图像,然后做个前向传播,应用softmax loss+center loss学习到Discrimin转载 2017-03-24 19:00:21 · 6988 阅读 · 0 评论 -
MTCNN(Multi-task convolutional neural networks)人脸对齐
该MTCNN算法出自深圳先进技术研究院,乔宇老师组,是今年2016的ECCV。(至少我知道的今年已经一篇cvpr,一篇eccv了)。 进入正题理论基础:正如上图所示,该MTCNN由3个网络结构组成(P-Net,R-Net,O-Net)。Proposal Network (P-Net):该网络结构主要获得了人脸区域的候选窗口和边界转载 2017-03-24 19:56:54 · 5010 阅读 · 2 评论 -
caffe训练流程
转载自:深度学习(六)caffe入门学习 - hjimce的专栏 - 博客频道 - CSDN.NEThttp://blog.csdn.Net/hjimce/article/details/48933813本文主要讲解caffe的整个使用流程,适用于初级入门caffe,通过学习本篇博文,理清项目训练、测试流程。初级教程,高手请绕道。我们知道,在caffe编译完转载 2017-03-25 13:27:36 · 873 阅读 · 0 评论 -
Caffe学习 数据层及参数设置
caffe的各种数据层在caffe.proto文件中有定义。通过对定义的caffe.proto文件进行编译,产生支持各种层操作的c++代码。后面将会详细解读caffe.proto文件(在caffe里就是当做一个自动代码生成工具来用)。本文主要介绍caffe可以读入数据的各种格式,方便后面采用caffe训练自己的数据数据的来源主要有以下几种:(1)高效的数据库(Level转载 2017-03-25 18:18:12 · 2846 阅读 · 0 评论 -
使用caffe的python接口实现内部参数可视化
1。这里并不介绍如何训练cnn及caffe配置,主要介绍如何实现cnn内部参数可视化。#这是我训练时使用的train.prototxt文件,在实现可视化之前首先需要对这个文件进行修改,#trian.prototxt文件的前2层及尾部需要修改,修改成train_deploy.prototxt文件。name: "face_train"layer { name: "face" type转载 2017-03-16 15:59:19 · 1397 阅读 · 0 评论 -
卷积神经网络CNN经典模型整理Lenet,Alexnet,Googlenet,VGG,Deep Residual Learning
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群:433250724,欢迎对算法、技术感兴趣的同学加入。关于卷积神经网络CNN,网络和文献中有非常多的资料,我在工作/研究中也用了好一段时间各种常见的model了,就想着简单整理一下,以备查阅之需。如果读者是初接触CNN,建议可以先看一看“Deep Learning(深度学习)学习转载 2017-03-26 17:21:46 · 496 阅读 · 0 评论 -
Caffe中学习率策略应如何选择
今天,在训练网络时想换一种学习策略试试,因此重新研究了一下Caffe中提供的各种学习率策略,在这里和大家聊聊我使用时的一些经验教训。我们先来看看和学习率策略有关的参数,以下的内容来自caffe.proto中:[cpp] view plain copy // The learning rate decay policy. The current转载 2017-04-12 19:05:08 · 1234 阅读 · 0 评论 -
Caffe学习笔记—— solver参数说明及利用自己的数据集对权值微调
本文主要介绍:在进行网络训练和权值微调过程中,需要对solver中的参数进行设置,本文主要介绍solver中的参数设置,以及如何利用自己的数据集,对权值进行微调。1. solver参数设置[cpp] view plain copy net: "train_val.prototxt" //深度学习模型的网络结构文件 test_i转载 2017-04-12 19:07:57 · 784 阅读 · 0 评论 -
【深度学习】caffe 中的一些参数介绍
solver.prototxt:[plain] view plain copy print?net: "models/bvlc_alexnet/train_val.prototxt" test_iter: 1000 # test_interval: 1000 # base_lr: 0.01转载 2017-04-12 20:01:26 · 650 阅读 · 0 评论 -
深度学习python图像标记工具labelTool
深度学习训练需要标记图像位置和类别,之前用的时候是叫做BBox-Label-Tool-master,遇到大图像就显示不完整了,没有自适应缩放, 这是改进后的Python脚本。目录结构:图片目录名images, 标签目录名labels,图像目录下各类别目录名要以001,002,003,...的格式命名。这是运行labelTool ( python main.py)时的转载 2017-04-12 20:52:04 · 1187 阅读 · 0 评论 -
论文笔记 Bootstrapping Face Detection with Hard Negative Examples
来自小米研究院的文章。主要介绍了一种优秀的人脸检测技术:采用hard negative mining想法,反复通过背景得到的hard negatives,对Faster RCNN的人脸检测算子进行更新。通过FDDB数据集的验证,该方法效果显著。Related Work:Hard Negative Mining 开始是用在选择function approximation转载 2017-04-13 19:56:40 · 766 阅读 · 0 评论 -
BP神经网络的优缺点
多层前向BP网络的优点:网络实质上实现了一个从输入到输出的映射功能,而数学理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题;网络能通过学习带正确答案的实例集自动提取“合理的”求解规则,即具有自学习能力;网络具有一定的推广、概括能力。多层前向BP网络的问题:BP算法的学习速度很慢,其原因主要有:由于BP算法本质上为梯度转载 2017-04-05 14:16:13 · 19013 阅读 · 1 评论 -
论文阅读:You Only Look Once: Unified, Real-Time Object Detection
Preface今天详细的看一下 CVPR 2016 年这篇:You Only Look Once: Unified, Real-Time Object Detection。另外,这篇的作者也有Ross B. Girshick。这篇 Paper 的项目主页在这里:http://pjreddie.com/darknet/yolo/注:这篇今年 CVPR 2016 年的检测文章 YOLO转载 2017-04-05 14:37:19 · 926 阅读 · 0 评论 -
论文笔记--FaceNet & Online Hard Example Mining
昨天读了两篇论文,一篇是今年cvpr的一篇oral,R-CNN的作者,论文的重点不是提高检测速度,而是在进行更有效的训练—-如何挖掘有效的样本;另一篇是去年google提出的利用三元组进行人脸识别算法—-FaceNet。Online Hard Example Mining1. Introduction hard example mining 是机器学习在训练时常见的步骤。总转载 2017-04-13 21:24:05 · 864 阅读 · 0 评论 -
SPPnet论文总结
小菜看了SPPNet这篇论文之后,也是参考了前人的博客,结合自己的一些观点写了这篇论文总结。 这里参考的连接如下: [http://blog.csdn.net/u013078356/article/details/50865183] 论文: 《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Reco转载 2017-04-05 16:35:12 · 490 阅读 · 0 评论 -
YOLO源码详解(一)-训练
本系列作者:木凌 时间:2016年11月。 文章连接:http://blog.csdn.net/u014540717本系列文章会持续更新,主要会分以下几个部分: 1、darknet下的yolo源代码解读 2、将yolo移植到mxnet下 3、模型压缩与加速 白天需要工作,只有晚上时间写,所以可能更新速度有点慢,还有就是该系列博文不一定会严格按照以上三点的顺序来写转载 2017-04-05 19:33:42 · 1797 阅读 · 0 评论 -
sklearn系列之----线性回归
原理线性回归,原理很简单,就是拟合一条直线使得损失最小,损失可以有很多种,比如平方和最小等等; y是输出,x是输入,输出是输入的一个线性组合。 系数矩阵就是coef,截距就是intercept;例子:我们的输入和输出是numpy的ndarray,输入是类似于列向量的,输出类似于行向量,看它们各自的shape就是: 输出:y.shape ——>(1,) 输入:转载 2017-04-16 16:21:00 · 886 阅读 · 0 评论 -
[sklearn学习]linear_model.LinearRegression
线性回归作为一种最简单,但却是最常用的方法,将作为第一篇文章进行了解。参数:fit_intercept: 布尔型,默认为true说明:是否对训练数据进行中心化。如果该变量为false,则表明输入的数据已经进行了中心化,在下面的过程里不进行中心化处理;否则,对输入的训练数据进行中心化处理normalize布尔型,默认为false说明:是否对数据进行标准化处理copy_X转载 2017-04-16 16:23:12 · 2423 阅读 · 0 评论