wangli0519的博客

原创 文章目录导读

深度学习基础——附Theano实现代码入门1、快速入门 http://blog.csdn.net/wangli0519/article/details/72810716有监督学习 Supervised Learning2、逻辑回归 Logistic Regression http://blog.csdn.net/wangli0519/article/details/72823659

原创 一张图看懂常用激活函数

原创 TF Learn入门 —— 稍复杂使用举例

使用TensorFlow的 TF.Learn API 解决二进制分类问题。 根据普查中的个人信息，包括年龄、性别、教育程度和职业（特征），来预测该人年收入是否超过5万美元（目标标签）。将训练logistic regression模型，输出值在0和1之间，表示该人收入超过5万美元的可能性。读取普查数据下载数据import tempfileimport urllibtrain_file

原创 TF Learn入门 —— 简单使用举例

一、载入数据载入常用库from __future__ import absolute_importfrom __future__ import divisionfrom __future__ import print_functionimport tensorflow as tfimport numpy as np载入数据IRIS_TRAINING = 'iris_trai

原创 TF Learn入门 —— 简介

TF Learn 是 TensorFlow 的简化界面，使人更快的开始预测分析和数据挖掘。该库涵盖了多种需求，从线性模型到深度学习应用如文本和图形理解。为什么选择 TensorFlow？TensorFlow 为不同机器学习应用提供了良好的框架。它将继续沿着分布式和基本管道式机器两个方向发展。为什么选择 TensorFlow Learn？更好的从 scikit-learn 单一机

原创 搭积木般构建深度学习网络——Xception完整代码解析

在了解什么是Xception以前，我们首先要了解Inception。Inception结构，由Szegedy等在2014年引入，被称为GoogLeNet（Inception V1)，之后被优化为Inception V2, Inception V3以及最新的Inception-ResNet。Inception自身受早期的网络-网络结构启发。自从首次推出，Inception无论是对于ImageNet的

原创 搭积木般构建深度学习网络 —— ResNet50完整代码解析

这里我们来看一下Keras中ResNet50的代码。关于ResNet的理解可以参阅深度残差网 点击打开链接首先我们需要载入将会使用到的库文件import numpy as npimport warningsfrom keras.layers import Inputfrom keras import layersfrom keras.layers import Dense

原创 Spark应用 —— 文本分析

实体解析在数据清理和融合中是一个普遍但困难的问题。这里我们将展示如何使用Spark来进行强大可扩展的文本分析技巧并执行跨数据集的实体解析。被用来描述结合来自不同数据源的记录表述同一实体的过程，另外一些常用的说法有实体连接、重复侦测、记录匹配、对象识别、数据融合等等。它指在数据集中找到跨不同数据源（例如数据文件、图书、网站、数据库）的同一实体的记录。这里我们要处理来自两个不同数据库的记录，其中A

原创 Spark应用 —— 快速构建用户推荐系统

大数据一个重要的应用是预测用户喜好，例如相关广告的推送、相关产品的推荐、相关图书电影的推荐等。这里我们使用Spark的机器学习来展示如何进行预测。找到文件import osfrom databricks_test_helper import Testdbfs_dir = '...'ratings_filename = dbfs_dir + '/ratings.csv'movies

原创 TensorFlow —— 30秒搞定物体检测

Google发布了新的TensorFlow物体检测API，包含了预训练模型，一个发布模型的jupyter notebook，一些可用于使用自己数据集对模型进行重新训练的有用脚本。使用该API可以快速的构建一些图片中物体检测的应用。这里我们一步一步来看如何使用预训练模型来检测图像中的物体。首先我们载入一些会使用的库import numpy as npimport osimport s

原创 Spark应用——网络服务器日志分析

这里我们展示如何使用Spark来分析网络服务器日志。服务器日志是富含信息的通用大数据。Spark提供了能快速简便执行这类数据分析的工具。日志数据可以来自多个源，如网络、文件、计算机服务器、应用日志、用户产生的内容，并可以用于监视服务器、改善商业和客户信息、构建推荐系统、欺诈侦测以及更多的应用。首先我们需要载入一些会用到的库import reimport datetimefrom d

翻译 生成对抗网络

我们提出一个框架来通过对抗方式评估生成模型，

原创 Spark应用——进行字数统计

非结构性的文本数据在数据分析中越来越重要，Spark是分析这类型数据一个优秀的工具。这里我们构建一个简单的计数应用来统计莎士比亚全集中的高频词。该应用可以被扩展到更大规模的应用，例如统计维基百科中的高频词。我们首先用python的元组列表和sqlContext.createDataFrame方法来构建数据结构，然后打印它的类型和架构。wordsDF = sqlContext.createD

翻译 Spark图计算（二）

图操作如同RDDs有如同map，filter和reduceByKey这些基本操作，属性图也有一些基本操作可以接受用户自定义函数转化属性和结构从而生成新图。优化应用的核心操作定义在Graph中，简便操作是核心的集合并定义在GraphOps中。由于Scala的隐式性GraphOps中的操作可自动的在Graph中获得。例如我们可以计算每个点（定义在GraphOps）的入度如下：val graph

翻译 Spark图计算（一）

GraphX是Spark新的组成部分，主要用于图和图的并行计算。在高层，GraphX扩展了Spark RDD，引入新的图抽象：一个属性依附于点和边的有向多图。为支持图计算，GraphX提供一系列基本运算（例如子图、结合点和聚合消息）并优化了Pregel API的变体。此外，GraphX包含了一组图算法和构建器以简化图分析任务。首先需要在项目中载入Spark和GraphX：import or

翻译 混合合作-竞争环境的多代理行动者鉴定

这里主要探讨在多代理环境的强化学习方法。首先分析在多代理环境下传统算法面临的困难：Q学习面临环境内在非稳定性的挑战，而随着代理数量的增加，策略梯度面临变动。然后提出一个调整的行动者鉴定方法，以考虑其他代理的行动策略并能学习复杂多代理协调的策略。此外，我们介绍一个为每个代理使用策略聚合的训练方法，以取得更具抗干扰性的多代理策略。我们将它与现存的合作、竞争环境的方法相比较，我们的代理能发现多种物理和信

翻译 Spark流计算（四）

DataFrame和SQL操作可以方便的对刘数据使用DataFrame和SQL操作。在 StreamingContext使用的SparkContext构建一个SparkSession。这样driver失败时可以重启。下面的例子对此前的word count例子进行了修改，使用DataFrames和SQL来对词进行计数。每一个RDD转化成一个DataFrame，登记为临时表格并用SQL查询。#

翻译 Spark流计算（三）

DStreams转化与RDDs相似，转化允许DStream输入的数据被修改。DStreams支持很多在一般Spark RDD中的转化，一些常用的如下：map(func)flatMap(func)filter(func)repartition(numPartitions)union(otherStream)count()reduce(func)countByVal

翻译 Spark流计算（二）

连接与Spark相似，Spark Streaming可通过Maven Central获得。需要加入如下依赖 org.apache.spark spark-streaming_2.11 2.1.1对于处理来自Kafka，Flume和Kinesis的数据，由于它们不在Spark Streaming核心API中，我们需要加入相应的依赖，例如Source  Art

翻译 Spark流计算（一）

Spark流计算是Spark核心API的扩展，能为数据流提供可扩展的、高吞吐量、容错的流处理。数据可从多个源输入如Kafka，Flume，Kinesis，或TCP接口，能够使用高层函数的复杂算法来处理如map, reduce, join和window。最后，经处理的数据可推送到文件系统、数据库和面板。事实上，也可以对数据流应用Spark的机器学习和图计算算法。在内部，Spark S

翻译 从人类偏好进行深度强化学习（二）

∈

翻译 从人类偏好进行深度强化学习（一）

摘要为使复杂加强学习RL系统能有效与真实环境互动，我们需要向这些系统传递复杂目标。这里，我们探索轨迹片段组间（非专家）人类偏好定义的目标。我们展示这种方法可以有效的解决复杂的RL任务而不需要访问奖励函数，包括Atari游戏和模拟机器人定位，仅提供少于1%代理与环境互动的反馈。这将足以降低人类监督成本到它可以实际的被应用于最先进的RL系统。为了展示我们方法的灵活性，我们展示我们可以仅用人类一小时

翻译 Inception —— 计算机视觉架构再思考

自从2012年Krizhevsky等赢了ImageNet竞赛后，他们的AlexNet被成功应用在大量的计算机视觉任务，例如物体检测，分割，人体姿势估计，视频分类，物体追踪和图像超分辨。这些成功激发了对于找到更好执行卷积神经网络的的研究。从2014年起，使用更深、更宽的网络大幅提高了网络结构的质量。VGGNet和GoogleNet在2014ILSVRC分类大赛中取得了相似的突出成绩。一个有意思的

翻译 ResNet —— 深度残差网

深度卷积神经网络为图像识别带来了一系列突破。深度网络自然的融合了低/中/高层特征并以端到端多层方式实行分类，且特征的层可通过堆叠层的数量（深度）来丰富。近期证据显示，网络的深度至关重要，并且ImageNet数据集中领先的模型都使用非常深的模型，从16层到30层。由此带来一个问题，学习更好的网络是否只是简单的堆叠更多的层？回答这个问题一个困难是臭名昭著的梯度消失/爆炸问题。但是这个问题很大程度上

翻译 VGG —— 更深度卷积网络

这里我们主要考察增加卷积网络的深度对于提高大规模图像识别设置准确度的作用。我们首先描述我们使用的卷积网络的一般结构，然后介绍在评估中使用的特定设置细节，最后讨论并比较我们的设计与此前一些模型的区别。结构在训练中，卷积网络的输入是固定大小的224×224RGB图像。我们唯一做的预处理是在训练集中计算出平均RGB值，并在每个像素上减去它。图像经过堆叠的卷积层处理，我们使用具有非常小接收域的过滤

翻译 Xception —— 深度可分卷积

卷积神经网络中的Inception模块是在普通卷积和深度可分卷积操作（深度卷积后逐点卷积）之间的一种中间步骤的解释。基于此，深度可分卷积可以理解为最大数量tower的Inception模块。受Inception启发，该观察引发我们提出一种新的深度卷积神经网络结构，用深度可分卷积替代Inception模块。我们展现这种结构，昵称为Xception在ImageNet数据集上表现略优于Inception

翻译 Keras —— 应用模型

Keras应用是可用的具有预训练权重的深度学习模型。这些模型可用于预测，特征提取和细调。实例化模型时权重自动下载，储存在~/.keras/models/可用模型在ImageNet上预训练权重的图像分类模型有：-Xception-VGG16-VGG19-ResNet50-InceptionV3Xception模型只有TensorFlow版，因为它依赖于Sepa

翻译 keras —— 常见问题汇总

如何引用keras？如果keras对您的研究有帮助，请在出版物中引用。BibTeX例子如下：@misc{chollet2015keras, title={Keras}, author={Chollet, Fran\c{c}ois and others}, year={2015}, publisher={GitHub}, howpublished={\url{https:

翻译 Keras —— 功能API入门

Keras的功能API可用来定义复杂模型，如多重输出模型，有向无环图，或有共享层的模型。请先熟悉Sequential模型的有关内容后再继续阅读。一个例子：紧密连接网络对于这种网络的实现Sequential模型是更好的选择，但我们这里用这个简单的例子来说明问题。*一个层实例可调用（作用于张量），并返回一个张量。*输入张量和输出张量可用来定义模型Model。*该模型可被像Ker

翻译 keras —— 常用模型构建

序列模型Sequential是层的线性堆叠可以通过将一个层列表传递到构建器的方式创建Sequentialfrom keras.models import Sequentialfrom keras.layers import Dense, Activationmodel = Sequential([ Dense(32, input_shape=(784,)), Ac

翻译 keras —— 30秒搭建神经网络

keras是一个高级神经网络API，由python写成，能在TensorFlow或者Theano上运行。它关注快速实现、简单易用。具有以下优点：*通过用户友好、模块化、可扩展实现简单和快速建立原形。*支持卷积神经网络、循环神经网络以及两者的结合。*在CPU和GPU上无缝运行。keras支持python2.7-3.530秒学会keraskeras的核心数据结构是模型，一种组织

翻译 深度学习 —— 使用RNN-RBM建模和生成复调音乐序列

RNN-RBMRNN-RBM是一个能量基础模型，用于时间序列的密度估计，其中向量在时间戳可位于高维度。可用于描述多峰条件分布，其中是时间的序列历史，通过一些列条件RBM（每个时间戳一个），参数依赖于有隐藏单元的确定RNN的输出：   （1）  （2）单层RNN循环关系定义为：   （3）结果模型在时间上展开如下图：总体概率分布有给定序列在时间之和给出：

翻译 深度学习 —— LSTM

摘要这里提供一个使用Theano来实现循环神经网络（RNN）的长短期记忆（LSTM）结构。模型被用来执行Large Movie Review Dataset（即IMDB数据集）中电影评论的情感分析。任务中，给定一个电影评论，模型尝试预测它是正面还是负面的。这是一个二分类问题。数据如前提及，提供的脚本被用来训练LSTM循环神经网络。数据集是公开的，我们提供了一个已预处理的版本以适应L

翻译 深度学习 —— 深度置信网络

深度置信网络[Hinton06]提出了RBMs可以堆叠起来以贪婪的方式进行训练以构成深度置信网络（DBN）。DBNs是学习提取训练数据深度结构表征的图模型，为观察到的向量x和l隐藏层h_k的联合分布建模如下：其中是k层已RBM的隐藏单元为条件的可见单元的条件性分布。是在RBM顶层的可见-隐藏联合分布。图示如下：DBN和RBM可使用贪婪的层际无监督训练原则是每层的基石，过程如下：

翻译 深度学习 —— 受限玻尔曼机 RBM

受限玻尔曼机（RBM)能量基础模型（EBM)能量基础模型为每一个感兴趣的变量设置分配一个标量能量。学习目的是改变能量函数以使它具有期待属性。例如我们希望通过理想或可行的设置获得低能量。能量基础的概率模型定义了能量函数的概率分布。均一化因子Z通过模拟物理系统称为分割函数。能量基础模型可以通过在训练数据的实证负指数相似上（随机）梯度下降习得。同逻辑回归，我们首先定义指数

翻译 深度学习 —— 堆叠自动降噪编码机

堆叠降噪自动编码机堆叠降噪自动编码机（SdA）是堆叠自动编码机的延伸。如果对降噪自动编码机不太熟悉的话建议先阅读此前的相关文章。堆叠自动编码机降噪自动编码机可以堆叠起来构建深层网络，降噪自动编码机在下层发现的隐藏表征（输出码）可以作为当前层的输入。这种结构的非监督预训练以每次一层的方式进行。每层都使用降噪自动编码机最小化重构输入（前一层的输出）的误差。当前k层完成训练后就可

翻译 深度学习 —— 降噪自动编码机

降噪自动编码机 降噪自动编码机（dA）是传统自动编码机的延伸，在深度网络 [Vincent08]中被引入，我们先简单讨论一下自动编码机。自动编码机自动编码机接受输入,首先通过确定映射使用编码机把它映射到隐藏层的y属于，即这里s是非线性例如sigmoid。隐藏的y，或代码然后通过解码机映射回与x有相同形状的重构z。这个映射与此前的转化类似，即这里，撇不代表矩阵转置。z被看

翻译 深度学习 —— 卷积神经网路 CNN

卷积神经网络（LeNet）注意：当GPU和显示器相连时，对每个GPU函数的运行有几秒的限制，因为当GPU进行计算时无法与显示器相连。如果不做限制，显示冻结较长时间而使人误以为是电脑死机。可以通过降低批次规模来解决超时问题。诱因卷积神经网络（CNN）是MLP的仿生变异。从Hubel and Wiesel早期关于猫的视觉皮质研究，我们知道视觉皮质由一系列细胞通过复杂的排列组成。

翻译 深度学习 —— 多层感知机

多层感知机我们下一个要介绍的结构是单隐藏层的多层感知机（MLP）。MLP可以看成一个输入层由学习到的非线性转化phi进行转化的逻辑回归分类器。这种转化将输入数据投影到线性可分空间。这个中间层被称为隐藏层。单隐藏层使MLP成为通用估算器。但稍后我们会看到使用多隐藏层具有更大的优势，这就是所谓的深度学习。详见Introduction to Multi-Layer Perceptrons (