weixin_30498921的博客

--环境信息：182.15.240.145 master182.15.240.146 slave1182.15.240.147 slave2--安装所需的包：ambari-2.7.3.0-centos7.tar.gzHDP-3.1.0.0-centos7-rpm.tar.gzHDP-UTILS-1.1.0.22-centos7.tar.gzjdk-8u102-linux-x64...

import sys, ossys.path.append('F:\ml\DL\source-code')from dataset.mnist import load_mnistfrom PIL import Imageimport numpy as np#pickle提供了一个简单的持久化功能。可以将对象以文件的形式存放在磁盘上。#pic...

Seaborn是基于matplotlib的Python可视化库。 它提供了一个高级界面来绘制有吸引力的统计图形。Seaborn其实是在matplotlib的基础上进行了更高级的API封装，从而使得作图更加容易，不需要经过大量的调整就能使你的图变得精致。但应强调的是，应该把Seaborn视为matplotlib的补充，而不是替代物。一、整体布局风格设置import sea...

import sys, ossys.path.append('F:\ml\DL\source-code') #导入此路径中from dataset.mnist import load_mnistfrom PIL import Imageimport numpy as np(x_train, t_train), (x_test, t_test) ...

一、读取文件import pandas as pddata = pd.read_csv("F:\\ml\\机器学习\\01\\score.csv") #一般读取的是csv文件，就是以逗号形式分隔开的文件print(data) #显示data的值"""name a b c d e0 hyan 90 69 23.0 35 ...

import matplotlib.pyplot as pltfrom matplotlib.image import imreadimg = imread('F:\\ml\\DL\\source-code\\dataset\\lena.png') #imread读取图片plt.imshow(img)#显示图片plt.show()转载于:...

一、折线绘图import pandas as pdimport matplotlib.pyplot as pltdata = pd.read_csv("F:\\ml\\机器学习\\01\\1.csv")print(data) date values0 2012/11/15 901 2013/4/5 ...

题目链接算是巩固了一下斜率优化吧。设\(f[i]\)表示前\(i\)分钟最少等待时间。则有\(f[i]=\min_{j=0}^{i-m}f[j]+(cnt[i]-cnt[j])*i-(sum[i]-sum[j])\)其中\(cnt[i]\)和\(sum[i]\)分别表示前\(i\)分钟去等车的学生数量和他们去等车的时刻之和。变形一下得\(f[j]+sum[j]=i*cnt[j]...

博主现在在AcWing上跟随进度写题，所以在各大\(OJ\)上的提交记录会很少，博客也很少更。AcWing用户名：xjc 欢迎私信骚扰转载于:https://www.cnblogs.com/Qihoo360/p/11396543.html...

令原数组为\(\{a_n\}\)，差分数组\(\{d_i=a_i-a_{i-1}\}\)显然\(a_x=\sum_{i=1}^x d[i]\)我们现在要求\(\sum_{i=1}^x a_i\)把每个\(a_i\)都按上面的形式表示，就有\(\sum_{i=1}^x a_i=\sum_{i=1}^x d_i(x-i+1)=(x+1)\sum_{i=1}^x d_i-\sum_{i=...

题目链接先离散化，假设有\(P\)个点定义矩阵\(A_{ij}\)表示\(i\)到\(j\)只经过一条边的最短路，\[{(A^{a+b})_{ij}=\min_{1\le k\le p} \{ (A^a)_{ik}+(A^b)_{kj} \}}\]\(A^{a+b}_{ij}\)表示\(i\)到\(j\)经过\((a+b)\)条边的最短路。这不就是\(ddp\)里常用的广义矩阵乘...

题目链接考虑建一棵树，使一个生物灭绝时他的子树都会灭绝，显然这样答案就是以每个点为根的子树大小-1.为什么原图不是一棵树，因为一个生物可能会以多个生物为食，所以按拓扑序来建树，把每个遍历到的点的父亲设为它的所有食物的\(LCA\)。因为是按拓扑序来的，所以当遍历到这个生物时，它的所有食物肯定是已经在树中的。#include <cstdio>#include <...

第四周总结&实验报告二课程总结这周我们学习了string类，以及很多string类的很多操作方法，同时string也是一个对象，在用到它时我们首字母需要大写，这周我们还加深了对函数构造的理解与运用，这周的我和上周就不一样了，上周是真的什么都不懂，这周就有那么一点点理解了，这一次可能没什么，但要是每周都这样那就是一个大进步了实验总结第四周课程总结&试验报告（二）1...

第五周总结&实验报告三实验报告1.已知字符串："this is a test of java".按要求执行以下操作：（要求源代码、结果截图。）① 统计该字符串中字母s出现的次数。② 统计该字符串中子串“is”出现的次数。③ 统计该字符串中单词“is”出现的次数。④ 实现该字符串的倒序输出。① 统计该字符串中字母s出现的次数。package test3;publ...

第三周课程总结&实验报告第三周总结这周我们学习了Java的封装性，多态性，继承性，以及对方法的调用等等，不过对于方法调用我是实在不懂，这是我上课没有听讲的原因，但这我相信我可以利用下课时间弥补，除了这些我们还学习了this和static关键词。this :在构造器中，代表该构造器所创建的实例对象。在方法中，指调用该方法的对象。在流离块中。只流离块所属的类的实例tst...

2019秋第一次总结虽然前面已近有几次课上了java，但我觉得这周才算真正进入了Java，我们开始接触到Java编程，我经常听到他们说Java和C语言很像，而且比C语言要简单，通过这周的学习，的确和C语言很像，但是不是要简单我就不知道了，以前我们也有接触C语言过，那时候真的是什么都不懂，现在通过以前学习过C语言，看到Java编程不像是天书了，起码知道是这么回事,所以现在有了以前我们学习...

转载于:https://www.cnblogs.com/wutanghua/p/11588179.html

条件概率：　　　　　　　　　　　　　B条件下A发生的概率等于B发生概率分之A和B同时发生的概率全概率公式：　　　　　　　　　　　　　　　　　　P(A) = P(AB1)+P(AB2)+...+P(ABn)　　　　　　= P(A|B1)P(B1)+P(A|B2)P(B2)+...+P(A|Bn)P(Bn)　　　　　　　　　　　　贝叶斯公式：...

import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport osfrom sklearn.neighbors import KNeighborsClassifierdef build_data(dir_name): """ 构建数据 :...

plt.subplots(1, 1)x= range(100)y= [i**2 for i in x]plt.plot(x, y, linewidth = '1', label = "test", color=' coral ', linestyle=':', marker='|')plt.legend(loc='upper left')plt.show()...

D:\MongoDB\Server\3.4\bin>mongoMongoDB shell version v3.4.16-41-g83c3022fe4connecting to: mongodb://127.0.0.1:27017MongoDB server version: 3.4.16-41-g83c3022fe4Server has startup w...

import pandas as pdimport jiebafrom sklearn.feature_extraction.text import CountVectorizerimport numpy as npfrom sklearn.naive_bayes import MultinomialNB# 加载数据data = pd.read_csv("...

KNN最近邻算法原理　　KNN英文全称K-nearst neighbor，中文名称为K近邻算法，它是由Cover和Hart在1968年提出来的　　　KNN算法原理：　　　　　　　　1. 计算已知类别数据集中的点与当前点之间的距离；　　　　　　　　2. 按照距离递增次序排序；　　　　　　　　3. 选择与当前距离最小的k个点；　　　　　　　　4. 确定前k个点...

Python正则表达式篇课后习题1-1. 识别下列字符串：“bat,” “bit,” “but,” “hat,” “hit,” 或 “hut”import redata = 'bat bit btt a ta tib atb but hat hit hut'patt = '[bh][aiu]t'm = re.findall(patt,data)print(m...

"""了解航空现状了解 40个特征--每个特征的含义观察窗口---2012-04-01 ----2014-03-31，我们给定的数据 就是观察窗口内的数据# 丢弃票价为空的记录-----保留票价不为空的记录# 丢弃票价为0 ，折扣不为0，飞行里程大于0 的数据 -----没花钱，而且还乘坐飞机了# ===》保留票价>0 ,折扣不为0 ，飞行里程大于0 ...

import numpy as npimport matplotlib.pyplot as pltdef build_data(): """ 准备数据 :return:准备好的数据 """ data_list = [] # 加载数据 with open("./test.txt") as f: ...

import pandas as pd#自己创建一个dfdf = pd.DataFrame({ 'col1':[0,1,2], 'col2':["zs",'li','zl'], 'col3':[3.14,5.20,6.78] ...

import numpy as npimport matplotlib.pyplot as plt# 加载数据res = np.load("./国民经济核算季度数据.npz", allow_pickle=True)# 获取数据columns = res['columns']values = res['values']print("column...

import numpy as npimport pandas as pd# pandas 主要是用来进行数据处理的库，# 里面不仅包含了数据处理、甚至还有 统计分析、相关计算，其内部封装了numpy 相关组件# numpy 核心 ---多维数组-ndarray# pandas 要做数据处理---也有承载# 结构三种形式----# series...

最近工作需要，需要读写CSV文件的数据，简单封装了一下依赖读写CSV文件只需引用`javacsv`这个依赖就可以了<dependency> <groupId>net.sourceforge.javacsv</groupId> <artifactId>javacsv</artifactId...

MongoTemplate mt; DBObject lisi = new BasicDBObject(); lisi.put("_id", new BasicDBObject("$gt", new ObjectId("5d68bddfc32724469cccc312"))); DBObject object = ...

本文主要是学习记录：部分内容为 《从Paxos到Zookeeper》部分内容为 zookpper原理分析 https://www.cnblogs.com/leesf456/p/6239578.html.部分内容为 zookpper源码分析https://www.cnblogs.com/leesf456/p/6518040.html转载于:...

1. 预先准备有效数据单号池，通过单号拉取数据处理单号表默认为101 使用findAndModify 更新单号表状态为 2 读取单号 循环读取100 条02 通过运单号批量查询 Aladin_WayBillStatus 表 获取数据03 拼接 新增 SQL语句04 批量提交给 Hbase05 批量更新 单号表 状态 为 3方式优点简单粗暴，开发简单不超过...

说明文档功能 1. 基于映射数据库一键生成 spring cloud 微服务 2. 通用 Controller ，无需编写代码即可完成基于数据库的服务 3. 动态多条件 CRUD + 分页使用说明 1. 配置 application.yml 数据库配置 2. 修改 @MapperSca...

本文是一些记录和想方法，分析大部分来自http://www.iocoder.cn/Eureka/感兴趣的可以去看一下。转载于:https://www.cnblogs.com/atliwen/p/11248953.html

吖阿啊锕嗄哎哀埃唉锿挨捱皑癌矮蔼霭艾砹爱隘碍嗳嗌嫒瑷暧安桉氨庵谙鹌鞍俺埯铵揞犴岸按胺案暗黯肮昂盎凹敖遨嗷廒獒熬聱螯翱鳌鏖袄媪岙坳傲奥骜澳懊鏊八巴扒叭芭岜疤捌笆粑拔茇菝跋魃把靶坝爸罢鲅霸灞吧掰白百佰柏捭摆败拜稗扳班般颁斑搬瘢癍阪坂板版钣舨办半伴拌绊瓣扮邦帮梆浜绑榜蚌棒傍谤蒡磅镑勹包苞孢胞龅煲褒雹薄广饱宝保鸨葆堡褓报抱趵豹鲍暴爆陂杯卑悲碑鹎北贝孛邶狈备背钡倍悖被辈惫焙蓓碚褙鞴鐾呗奔贲锛本苯畚...

1、创建工作目录与常用指令工作目录（WorkSpace)一般就是你希望Git帮助你管理的文件夹，可以是你项目的目录，也可以是一个空目录，建议不要有中文。日常使用只要记住下图6个命令：2、提交管理提交全部添加所有文件进版本管理git add .提交所有文件到本地仓库git commit . -m "提交更新说明" 提交到远程仓库git push or...

1、版本控制概要 工作区 暂存区 本地仓库 远程仓库1.1 什么是版本控制1.2 常用术语1.3 常见的版本控制器1.4 版本控制分类1.5 Git与SVN最主要区别2、Git安装与配置Git安装与配置2.1 什么是Git2.2 搭建Git工作环境2.3 Git配置 - git config3、Git理论基础Git理论基础3.1 Git的工作区域3....

1、需求说明2、操作步骤2.1 新建脚本，选择Build Phases2.2 点击加号，选择New Run Script Phase2.3 为了便于识别，双击重命名为 Dynamic Build Version2.4 粘贴以下代码，注意要修改的内容#!/bin/bashbuildNumber=$(/usr/libexec/PlistBuddy -c "Print ...

1、目的2、代码// 设置导航栏的按钮UIButton *leftNavBtn = [[UIButton alloc] initWithFrame:CGRectMake(0, 0, 35, 35)];UIImage *leftNavImage = CHImageWithName(@"navBar_schoolTask");leftNavImage = [leftNavImage...

1、iPad所有平板型号屏幕尺寸尺寸iPad型号物理点像素点倍数7.9iPad Mini768x1024768x102417.9iPad Mini 2 iPad Mini 3 iPad Mini 4768x10241536x204829.7iPad 1 iPad 2768x1024768x102...

1、前提说明通常2、代码使用说明2.1 脚本基本代码#!/bin/shiPhoneIcon() {sips -z 30 25 if_connected_green.png --out ./AppIcon/netdetail_down.pngsips -z 60 50 if_connected_green.png --out ./AppIcon/netdetail_d...

1、打印CG开头的数据类型，如CGRect，CGSize等方法1.1 打印CGRect ：NSLog(@"%@", NSStringFromCGRect(someCGRect));1.2 打印 CGSize ：NSLog(@"%@",NSStringFromCGSize(someCG Size ));1.3 其他的是：NSStringFromCGPoint、NSS...

在调整模型更新权重和偏差参数的方式时，你是否考虑过哪种优化算法能使模型产生更好且更快的效果？应该用梯度下降，随机梯度下降，还是Adam方法？这篇文章介绍了不同优化算法之间的主要区别，以及如何选择最佳的优化方法。什么是优化算法？优化算法的功能，是通过改善训练方式，来最小化(或最大化)损失函数E(x)。模型内部有些参数，是用来计算测试集中目标值Y的真实值和预测值的偏差程度的，基于这些参数，就...

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/limiyudianzi/article/details/80697711我主要分三篇文章给大家介绍tensorflow的损失函数，本篇为tensorflow自定义损失函数。（一）tensorflow内置的四个损失函数（二）其他...

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/u010899985/article/details/81836299梯度下降算法针对凸优化问题原则上是可以收敛到全局最优的，因为此时只有唯一的局部最优点。而实际上深度学习模型是一个复杂的非线性结构，一般属于非凸问题，这意味着存在很...

http://blog.csdn.net/pipisorry/article/details/45665779主题模型LDA的应用拿到这些topic后继续后面的这些应用怎么做呢：除了推断出这些主题，LDA还可以推断每篇文章在主题上的分布。例如，X文章大概有60%在讨论“空间探索”，30%关于“电脑”，10%关于其他主题。这些主题分布可以有多种用途：聚类： 主题是...

使用机器学习排序算法LambdaMART有一段时间了，但一直没有真正弄清楚算法中的所有细节。学习过程中细读了两篇不错的博文，推荐给大家：梯度提升树(GBDT)原理小结徐博From RankNet to LambdaRank to LambdaMART: An Overview但经过一番搜寻之后发现，目前网上并没有一篇透彻讲解该算法的文章，所以希望这篇文章能够达到此目的。...

这几天面试经常被问到BN层的原理，虽然回答上来了，但还是感觉答得不是很好，今天仔细研究了一下Batch Normalization的原理，以下为参考网上几篇文章总结得出。　　Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做P...

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/qq_39422642/article/details/78730662 这篇文章主要给一些不太喜欢数学的朋友们的，其中基本没有用什么数学公式。 目录直观理解主题模型LDA的通俗定义LDA...

本文转载自:https://zhuanlan.zhihu.com/p/24720954?utm_source=zhihu&utm_medium=social转载请注明：炼丹实验室之前曾经写过一篇文章，讲了一些深度学习训练的技巧，其中包含了部分调参心得：深度学习训练心得。不过由于一般深度学习实验，相比普通机器学习任务，时间较长，因此调参技巧就显得尤为重要。同时个人实践...

做dl也有一段时间了，积累了一些经验，也在网上看到一些别人的经验。为了面试，结合知乎上面的问答，我也总结了一下，欢迎大家补充。知乎 深度学习调参有哪些技巧？一. 初始化有人用normal初始化cnn的参数，最后acc只能到70%多，仅仅改成xavier，acc可以到98%。二.从理解CNN网络以产生直觉去调参数的角度考虑，应该使用可视化可视化（知乎用户 杨军）1.V...

超参数（Hyper-Parameter)是困扰神经网络训练的问题之一，因为这些参数不可通过常规方法学习获得。神经网络经典五大超参数:学习率(Leraning Rate)、权值初始化(Weight Initialization)、网络层数(Layers)单层神经元数(Units)、正则惩罚项（Regularizer|Normalization)这五大超参数使得神经网...

此篇文章是在原创教程这个栏目下，但实际上是一篇汇总整理文章。相信大家在做深度学习时对调参尤为无奈，经验不足乱调一通，或者参数太多无从下手，我也如此。希望通过此文汇总网上一些调参的经验方法，供大家参考。此文会对网上每一篇调参文章做简练的总结与提炼，以此为此文的组成单元，并附上原文的链接。如果遇到不对的地方，欢迎指正~本文也将不定期更新，最后祝大家调参（炼金）顺利！有多少...

原十、如何选择神经网络的超参数2017年08月18日 10:33:06 独孤呆博 阅读数 21041 版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/dugudaibo/article/details/77366245...

经常会被问到你用深度学习训练模型时怎么样改善你的结果呢？然后每次都懵逼了，一是自己懂的不多，二是实验的不多，三是记性不行忘记了。所以写这篇博客，记录下别人以及自己的一些经验。Ilya Sutskever（Hinton的学生）讲述了有关深度学习的见解及实用建议：获取数据：确保要有高质量的输入/输出数据集，这个数据集要足够大、具有代表性以及拥有相对清楚的标签。缺乏数据集是很难成...

作者：Captain Jack链接：https://www.zhihu.com/question/25097993/answer/127472322来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。我现在的工作内容主要就是使用CNN做CV任务. 干调参这种活也有两年时间了. 我的回答可能更多的还是侧重工业应用, 技术上只限制在CNN这块.先说...

之前看过TCN，稍微了解了一下语言模型，这篇论文也是对语言模型建模，但是由于对语言模型了解不深，一些常用数据处理方法，训练损失的计算包括残差都没有系统的看过，只是参考网上代码对论文做了粗浅的复现。开学以来通过看的几篇论文及复现基本掌握了tensorflow的基本使用，了解了“数据处理-模型构建-训练“的处理问题基本流程，但是随着看论文的增多发现理论基础严重薄弱，以后应该会一边补理论一边看...

面对一个图像分类问题，可以有以下步骤：1.建立一个简单的CNN模型，一方面能够快速地run一个模型，以了解这个任务的难度卷积层1：卷积核大小3*3，卷积核移动步长1，卷积核个数64，池化大小2*2，池化步长2，池化类型为最大池化，激活函数ReLU。卷积层2：卷积核大小3*3，卷积核移动步长1，卷积核个数128，池化大小2*2，池化步长2，池化类型为最大池化，激活函数R...

哈哈哈，又到了讲段子的时间准备好了吗？今天要说的是CNN最后一层了，CNN入门就要讲完啦。。。。。先来一段官方的语言介绍全连接层（Fully Connected Layer）全连接层常简称为 FC，它是可能会出现在 CNN 中的、一个比较特殊的结构；从名字就可以大概猜想到、FC 应该和普通层息息相关，事实上也正是如此。直观地说、FC 是连接卷积层和普通层的普通层，它将从父...

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/liuchonge/article/details/70238350 最近忙着实验室的项目，一直没有时间做仿真，所以就先写一下之前看的一篇文章，总结一下吧。这次要说的是Gated CNN，这也是第一次将门限控...

目录　　产生背景　　工作原理　　参考资料产生背景假设选用softmax交叉熵训练一个三分类模型，某样本经过网络最后一层的输出为向量x=(1.0, 5.0, 4.0)，对x进行softmax转换输出为：假设该样本y=[0, 1, 0]，那损失loss:按softmax交叉熵优化时，针对这个样本而言，会让0.7...

目录　　使用非对称卷积分解大filters　　重新设计pooling层　　辅助构造器　　使用标签平滑　　参考资料在《深度学习面试题20：GoogLeNet(Inception V1)》和《深度学习面试题26：GoogLeNet(Inception V2)》中对前两个Inception版本做了介绍，下面主要阐述V3版本的创新点使用非对称卷...

目录　　第一层卷积换为分离卷积　　一些层的卷积核的个数发生了变化　　多个小卷积核代替大卷积核　　一些最大值池化换为了平均值池化　　完整代码　　参考资料第一层卷积换为分离卷积net = slim.separable_conv2d( inputs, ...

目录　　产生背景　　举例　　参考资料产生背景之前在深度学习面试题16：小卷积核级联卷积VS大卷积核卷积中介绍过小卷积核的三个优势：①整合了三个非线性激活层，代替单一非线性激活层，增加了判别能力。②减少了网络参数。③减少了计算量在《Rethinking the Inception Architecture f...

目录　　举例　　单个张量与多个卷积核的分离卷积　　参考资料举例分离卷积就是先在深度上分别卷积，然后再进行卷积，对应代码为：import tensorflow as tf# [batch, in_height, in_width, in_channels]input =tf.reshape(tf....

目录　　简介　　网络结构　　对应代码　　网络说明　　参考资料简介2014年，GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄，GoogLeNet获得了第一名、VGG获得了第二名，这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构，而GoogL...

目录　　举例　　单个张量与多个卷积核在深度上分别卷积　　参考资料举例如下张量x和卷积核K进行depthwise_conv2d卷积结果为：depthwise_conv2d和conv2d的不同之处在于conv2d在每一深度上卷积，然后求和，depthwise_conv2d没有求和这一步，对应代码为：...

目录　　举例　　在Inception module上的应用　　参考资料可以减少计算量，可以增加非线性判别能力举例假设有1个高为30、宽为40，深度为200的三维张量与55个高为5、宽为5、深度为200的卷积核same卷积，步长=1，则结果是高为30、宽为40、深度为55的三维张量，如图所示：该卷积过程的乘法计算量大约...

目录　　举例　　参考资料网中网结构通过多个分支的运算（卷积或池化），将分支上的运算结果在深度上连接举例一个3*3*2的张量，与3个1*1*2的卷积核分别same卷积，步长=1，与2个2*2*2的卷积核分别same卷积，步长=1，与1个3*3*2的掩码最大值same池化，步长=1，将得到的这3个结果在深度方向上拼接...

目录　　举例　　结论　　参考资料在一些书籍和博客中所讲的卷积（一个卷积核和输入的对应位置相乘，然后累加）不是真正意义上的卷积。根据离散卷积的定义，卷积核是需要旋转180的。按照定义来说，一个输入和一个卷积核做卷积操作的流程是：①卷积核旋转180②对应位置相乘，然后累加举例下面这个图是常见的卷积运算图：...

目录　　VGGNet网络结构　　论文中还讨论了其他结构　　参考资料2014年，牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司的研究员一起研发出了新的深度卷积神经网络：VGGNet，并取得了ILSVRC2014比赛分类项目的第二名（第一名是GoogLeNet，也是同年提出的）和定位项目的第一名。VGGNet...

目录　　卷积层的dropout　　全连接层的dropout　　Dropout的反向传播　　Dropout的反向传播举例　　参考资料在训练过程中，Dropout会让输出中的每个值以概率keep_prob变为原来的1/keep_prob倍，以概率1-keep_prob变为0。也就是在每一轮的训练中让一些神经元随机失活，从而让每一个神经元都有机会得到更高效的学习...

目录　　感受野　　多个小卷积核连续卷积和单个大卷积核卷积的作用相同　　小卷积核的优势　　参考资料感受野在卷积神经网络中，感受野（Receptive Field）的定义是卷积神经网络每一层输出的特征图（feature map）上的像素点在输入图片上映射的区域大小。再通俗点的解释是，特征图上的一个点对应输入图上的区域，如下...

目录　　Same最大值池化　　多深度的same池化　　Same平均值池化　　Valid池化　　参考资料池化(Pooling)操作与卷积类似，取输入张量的每个位置的矩形领域内的最大值或平均值作为该位置的输出。池化操作分为same池化和valid池化，同时还可以设置移动的步长Same最大值池化举例：4行4列的张量x和...

目录　　网络结构　　两大创新点　　参考资料第一个典型的CNN是LeNet5网络结构，但是第一个引起大家注意的网络却是AlexNet，Alex Krizhevsky其实是Hinton的学生，这个团队领导者是Hinton，于2012年发表论文。AlexNet有60 million个参数和65000个 神经元，五层卷积，三层全连接网络，最终的输出层是1000通道的s...

目录　　二维Full卷积　　二维Same卷积　　二维Valid卷积　　三种卷积类型的关系　　具备深度的二维卷积　　具备深度的张量与多个卷积核的卷积　　参考资料二维卷积的原理和一维卷积类似，也有full卷积、same卷积和valid卷积。举例：3*3的二维张量x和2*2的二维张量K进行卷积二维Full卷积...

目录　　神经网络的卷积、池化、拉伸　　LeNet网络结构　　LeNet在MNIST数据集上应用　　参考资料LeNet是卷积神经网络的祖师爷LeCun在1998年提出，用于解决手写数字识别的视觉任务。自那时起，CNN的最基本的架构就定下来了：卷积层、池化层、全连接层。如今各大深度学习框架中所使用的LeNet都是简化改进过的LeNet-5（-5表示具有5个层），和...

目录　　一维Full卷积　　一维Same卷积　　一维Valid卷积　　三种卷积类型的关系　　具备深度的一维卷积　　具备深度的张量与多个卷积核的卷积　　参考资料一维卷积通常有三种类型：full卷积、same卷积和valid卷积，下面以一个长度为5的一维张量I和长度为3的一维张量K（卷积核）为例，介绍这三种卷积的计算过程...

目录　　梯度消失　　梯度爆炸　　参考资料以下图的全连接神经网络为例，来演示梯度爆炸和梯度消失：梯度消失在模型参数w都是(-1,1)之间的数的前提下，如果激活函数选择的是sigmod(x)，那么他的导函数σ’(x)的值域为(0,0.25]，即如下三项的范围都是(0,0.25]那么w1的导数会有很多(0,...

目录　　链式法则　　逻辑回归的正、反向传播　　逻辑回归的正、反向传播案例　　全连接神经网络的正、反向传播　　全连接神经网络的正、反向传播案例　　参考资料链式法则类型一：类型二：类型三： 返回目录逻辑回归的正、反向传播...

目录　　sigmod交叉熵　　Softmax转换　　Softmax交叉熵　　参考资料sigmod交叉熵Sigmod交叉熵实际就是我们所说的对数损失，它是针对二分类任务的损失函数，在神经网络中，一般输出层只有一个结点。假设y为样本标签，_y为全连接网络的输出层的值，那么，这个对数损失定义为PS：这个是可以用极大似...

目录　　为什么要用激活函数　　sigmod　　tanh　　ReLU　　LeakyReLU　　ReLU6　　参考资料为什么要用激活函数在神经网络中，如果不对上一层结点的输出做非线性转换的话，再深的网络也是线性模型，只能把输入线性组合再输出（如下图），不能学习到复杂的映射关系，因此需要使用激活函数这个非线性函数做转...

目录　　一元线性回归模型　　一元线性回归代价函数图像　　梯度下降求解　　SGD、BGD、Mini-batchGD的特点　　参考资料在《深度学习面试题03改进版梯度下降法Adagrad、RMSprop、Momentum、Adam》中讲到了多种改进的梯度下降公式。而这篇文章和03篇描述的不是一个事情，我们从一个例子说起，就知道改良的GD算法和本节介绍的GD算法的不...

目录　　Adagrad法　　RMSprop法　　Momentum法　　Adam法　　参考资料发展历史标准梯度下降法的缺陷如果学习率选的不恰当会出现以上情况因此有一些自动调学习率的方法。一般来说，随着迭代次数的增加，学习率应该越来越小，因为迭代次数增加后，得到的解应该比较靠近最优解，所以要缩小步长η，那么有什么公式吗？比如：，但是...

目录　　导数　　偏导数　　方向导数　　梯度　　参考资料导数导数反映的是函数y=f(x)在某一点处沿x轴正方向的变化率。比如y=x2，在x=1处的导数=2。导数是通过极限来定义的，某一点的导数=tanψ，但是前提是△x趋近于0，此时tanψ=tanα=该点导数，公式如下：返回目录...

目录　　一元函数的梯度下降法　　多元函数的梯度下降法　　参考资料梯度下降是一种迭代式的最优化手段，在机器学习中一般用于求目标函数的极小值点，这个极小值点就是最优的模型内部参数。相比求解析解的手段，GD的通用性更强，所以受到广泛的使用。一元函数的梯度下降法比如求解f(x)=(x-1)2的最小值点梯度下降的公式为，上标...

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/weixin_31866177/article/details/88601294从SGD（SGD指mini-batch gradient descent）和Adam两个方面说起。更详细的可以看：深度学习最...

深度学习是一个框架，包含多个重要算法:Convolutional Neural Networks(CNN)卷积神经网络AutoEncoder自动编码器Sparse Coding稀疏编码Restricted Boltzmann Machine(RBM)限制波尔兹曼机Deep Belief Networks(DBN)深信度网络Recurrent neural N...

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/program_developer/article/details/80737724“微信公众号”本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s/3nKXl...

之前的博客：http://www.cnblogs.com/bentuwuying/p/6681943.html中简单介绍了Learning to Rank的基本原理，也讲到了Learning to Rank的几类常用的方法：pointwise，pairwise，listwise。前面已经介绍了pairwise方法中的 RankSVM，IR SVM，和GBRank。这篇博客主要是介绍另...

前面我们学习过深度学习中用于加速网络训练、提升网络泛化能力的两种策略：Batch Normalization（Batch Normalization）和Layer Normalization（LN）。今天讨论另一种与它们类似的策略：Weight Normalization（Weight Normalization）。Weight Normalization是Batch Norma...

问题描述先来看看问题描述。当我们使用sigmoid funciton 作为激活函数时，随着神经网络hidden layer层数的增加，训练误差反而加大了，如上图所示。下面以2层隐藏层神经网络为例，进行说明。结点中的柱状图表示每个神经元参数的更新速率(梯度)大小，有图中可以看出，layer2整体速度都要大于layer1.我们又取每层layer中参数向量的...

深度学习小记0 前言近段时间，由于工作需要，一直在看深度学习的各种框架，主要是Caffe和Tensorflow。并且在可预见的未来，还会看更多不同的深度学习框架。最开始我是以软件工程师的角度去阅读这些框架的，说实话，Caffe的代码框架逻辑清晰相对好理解一点，而TensorFlow就比较麻烦了，里面内容太多，函数调用链非常长，且使用了大量的C++11语法，这对于C++功底不好的我...

本文参考文献：Gehring J, Auli M, Grangier D, et al. Convolutional Sequence to Sequence Learning[J]. arXiv preprint arXiv:1705.03122, 2017.被引次数：13Dauphin Y N, Fan A, Auli M, et al. Language mode...

本文主要用于理解主题模型LDA（Latent Dirichlet Allocation）其背后的数学原理及其推导过程。本菇力求用简单的推理来论证LDA背后复杂的数学知识，苦于自身数学基础不够，因此文中还是大量引用了各方大神的数学推导细节，既是为了方便自己以后回顾，也方便读者追本溯源，当然喜欢直接看应用的读者可直接翻到第二章~基本目录如下：LDA的原理1...

最近忙着实验室的项目，一直没有时间做仿真，所以就先写一下之前看的一篇文章，总结一下吧。这次要说的是Gated CNN，这也是第一次将门限控制引入到CNN中的文章，感觉十分有新意，效果也很棒。下面我们来看一下，文章的主要贡献包括：提出一种新的门控机制缓解梯度传播，降低梯度弥散等现象相比LSTM，模型更加简单，收敛速度更快 模型的结构图如下所示： 首先我们可...

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/yjl9122/article/details/70198357 卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT（输入层）-CONV（卷积层）-REL...

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/weixin_41417982/article/details/81412076 构建了最简单的网络之后，是时候再加上卷积和池化了。这篇，虽然我还没开始构思，但我知道，一定是很长的文章。卷积神经网络（Co...

目录　　指数移动平均　　BN在卷积网络中的使用　　参考资料假设已经训练好一个带有BN操作的卷积神经网络，但是在使用它预测时，往往每次只输入一个样本，那么经过该网络时，计算平均值和方差的意义就不大了，常采用的策略是计算训练阶段的平均值和方差的指数移动平均，然后在预测阶段使用它们作为BN操作时的平均值和方差。指数移动平均假设变量...