深度学习和TensorFlow框架
L先生AI课堂
李虎,联想集团PCSD业务UDS平台推荐算法团队开发负责人,曾获2018-2019年度联想集团中国区优秀员工。在联想内部,做过多次企业内训和技术支持,并在北京线下技术沙龙分享会上作为演讲嘉宾分享算法实战应用效果,拥有丰富的线上,线下培训经验。对机器学习,深度学习算法建模,推荐系统,大数据有多年的实际经验。CSDN博客专家,著有大白话算法系列,以通俗生动的方式讲解人工智能前沿算法。愿景是打造全网AI最通俗教学,赠人玫瑰,手有余香,在人工智能前行的路上一起前行,以通俗简洁详细的方式,让每一位热爱着深入其中。空间有形、梦想无限!加油!
展开
-
【深度学习篇】---CNN和RNN结合与对比,实例讲解
一、前述CNN和RNN几乎占据着深度学习的半壁江山,所以本文将着重讲解CNN+RNN的各种组合方式,以及CNN和RNN的对比。二、CNN与RNN对比1、CNN卷积神经网络与RNN递归神经网络直观图2、相同点: 2.1. 传统神经网络的扩展。 2.2. 前向计算产生结果,反向计算模型更新。 2.3. 每层神经网络横向可以多个神经元共存,纵向可以有多层神经网...原创 2018-09-04 00:16:00 · 6703 阅读 · 0 评论 -
【TensorFlow篇】--Tensorflow框架实现SoftMax模型识别手写数字集
一、前述本文讲述用Tensorflow框架实现SoftMax模型识别手写数字集,来实现多分类。同时对模型的保存和恢复做下示例。二、具体原理代码一:实现代码#!/usr/bin/python# -*- coding: UTF-8 -*-# 文件名: 12_Softmax_regression.pyfrom tensorflow.examples.tutorials.mn...原创 2018-03-28 01:08:00 · 386 阅读 · 0 评论 -
【TensorFlow篇】--DNN初始和应用
一、前述ANN人工神经网络有两个或两个以上隐藏层,称为DNN只有一个隐藏层是多层感知机没有隐藏层是感知机二、反向传播应用举例举例:正向传播,反向传播是一次迭代,正向传播:在开始的每一层上都有一个参数值w,初始的时候是随机的,前向带入的是每一个样本值。反向传播:然后反过来求所有的梯度值。如果是BGD则再根据公式wt=wt-1-ag进行调整所有w值。然后再...原创 2018-03-28 01:13:00 · 1453 阅读 · 0 评论 -
【深度学习篇】--神经网络中的调优一,超参数调优和Early_Stopping
一、前述调优对于模型训练速度,准确率方面至关重要,所以本文对神经网络中的调优做一个总结。二、神经网络超参数调优1、适当调整隐藏层数对于许多问题,你可以开始只用一个隐藏层,就可以获得不错的结果,比如对于复杂的问题我们可以在隐藏层上使用足够多的神经元就行了, 很长一段时间人们满足了就没有去探索深度神经网络,但是深度神经网络有更高的参数效率,神经元个数可以指数倍减少,并且训练起来也更快...原创 2018-03-28 11:46:00 · 7532 阅读 · 0 评论 -
【深度学习篇】--神经网络中的调优二,防止过拟合
一、前述上一篇讲述了神经网络中的调优实现,本文继续讲解。二、L1,L2正则防止过拟合使用L1和L2正则去限制神经网络连接的weights权重,限制更小1、对于一层时可以定义如下:一种方式去使用TensorFlow做正则是加合适的正则项到损失函数,当一层的时候,可以如下定义:2、对于多层时可以定义如下:可是如果有很多层,上面的方式不是很方便,幸运的是,Tensor...原创 2018-03-28 14:45:00 · 1481 阅读 · 0 评论 -
【深度学习篇】--神经网络中解决梯度弥散问题
一、前述在梯度下降中,随着算法反向反馈到前面几层,梯度会越来越小,最终,没有变化,这时或许还没有收敛到比较好的解,这就是梯度消失问题,深度学习遭受不稳定的梯度,不同层学习在不同的速度上二、解决梯度弥散和消失方法一,初始化权重使用he_initialization1、举例如果我们看逻辑激活函数,当输入比较大,不管正负,将会饱和在0或1,这样梯度就是0,因此当反向传播开始,它几...原创 2018-03-28 16:42:00 · 3167 阅读 · 1 评论 -
【深度学习篇】--神经网络中的池化层和CNN架构模型
一、前述本文讲述池化层和经典神经网络中的架构模型。二、池化Pooling1、目标降采样subsample,shrink(浓缩),减少计算负荷,减少内存使用,参数数量减少(也可防止过拟合)减少输入图片大小(降低了图片的质量)也使得神经网络可以经受一点图片平移,不受位置的影响(池化后相当于把图片上的点平移了)正如卷积神经网络一样,在池化层中的每个神经元被连接到上面一层输出的神经元,...原创 2018-03-28 20:29:00 · 1451 阅读 · 0 评论 -
【TensorFlow篇】--Tensorflow框架可视化之Tensorboard
一、前述TensorBoard是tensorFlow中的可视化界面,可以清楚的看到数据的流向以及各种参数的变化,本文基于一个案例讲解TensorBoard的用法。二、代码设计一个MLP多层神经网络来训练数据import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datama...原创 2018-03-29 21:09:00 · 577 阅读 · 0 评论 -
【神经网络篇】--基于数据集cifa10的经典模型实例
一、前述本文分享一篇基于数据集cifa10的经典模型架构和代码。二、代码import tensorflow as tfimport numpy as npimport mathimport timefrom tutorials.image.cifar10 import cifar10from tutorials.image.cifar10 import cifar10_in...原创 2018-03-30 12:36:00 · 1701 阅读 · 0 评论 -
【深度学习篇】--Seq2Seq模型从初识到应用
一、前述架构:问题:1、压缩会损失信息2、长度会影响准确率解决办法:Attention机制:聚焦模式“高分辨率”聚焦在图片的某个特定区域并以“低分辨率”,感知图像的周边区域的模式。通过大量实验证明,将attention机制应用在机器翻译,摘要生成,阅读理解等问题上,取得的成效显著。比如翻译:“”知识”只是聚焦前两个字。每个C取不同的概率和值:...原创 2018-06-07 01:22:00 · 903 阅读 · 0 评论 -
【深度学习】--GAN从入门到初始
一、前述GAN,生成对抗网络,在2016年基本火爆深度学习,所有有必要学习一下。生成对抗网络直观的应用可以帮我们生成数据,图片。二、具体1、生活案例比如假设真钱 r坏人定义为G 我们通过 G 给定一个噪音X 通过学习一组参数w 生成一个G(x),转换成一个真实的分布。 这就是生成,相当于造假钱。警察定义为D 将G(x)和真钱r 分别输入给判别网络,能判别出真假,真钱判...原创 2018-07-01 16:12:00 · 480 阅读 · 0 评论 -
【深度学习】--DCGAN从入门到实例应用
一、前述DCGAN就是Deep Concolutions应用到GAN上,但是和传统的卷积应用还有一些区别,最大的区别就是没有池化层。本文将详细分析卷积在GAN上的应用。二、具体1、DCGAN和传统GAN区别 1.将pooling层convolutions替代(对于判别模型:容许网络学习自己的空间下采样 ,因为没有池化层,所以让判别网络自习学习。对于生成模型:容许它学习自己的空...原创 2018-07-02 00:39:00 · 1245 阅读 · 0 评论 -
【深度学习篇】--Windows 64下tensorflow-gpu安装到应用
一、前述一直以为自己的笔记本不支持tensflow-gpu的运行,结果每次运行模型都要好久。偶然间一个想法,想试试自己的笔记本,结果竟然神奇的发现能用GPU。于是分享一下安装步骤.二、具体因为版本之间有严格的对应关系,所以本文就将自己使用的版本对应分享如下,亲测可以成功!!首先查看下自己的显卡是否支持GPU,以下连接可以查看是否支持。https://developer.nvidia...原创 2018-07-08 21:00:00 · 380 阅读 · 0 评论 -
理解交叉熵作为损失函数在神经网络中的作用
交叉熵的作用通过神经网络解决多分类问题时,最常用的一种方式就是在最后一层设置n个输出节点,无论在浅层神经网络还是在CNN中都是如此,比如,在AlexNet中最后的输出层有1000个节点:而即便是ResNet取消了全连接层,也会在最后有一个1000个节点的输出层:一般情况下,最后一个输出层的节点个数与分类任务的目标数相等。假设最后的节点数为N,那么对于每一个样例,神经网络可以得到一个N维的...转载 2018-08-29 11:15:36 · 506 阅读 · 0 评论 -
大白话5分钟带你走进人工智能-第33节神经网络和神经元概念(1)
目录1、前述2、神经网络实例与概念3、神经元结构4、神经元拓扑总结5、逻辑回归和神经元神经网络的关系1、前述不少小伙伴反应为什么没有神经网络的文章,因为现在那么主流。其实本打算更新完算法的基础篇之后再更新神经网络的文章。但是小伙伴的心情是急切的,所以也为了迎合大家的呐喊~~。从本节开始我们就开始神经元算法的学习了。这将是一个很有意思的事情。前面基础学习还有几节...原创 2019-07-25 13:59:18 · 1998 阅读 · 0 评论