wangli0519的博客

原创 文章目录导读

深度学习基础——附Theano实现代码入门1、快速入门 http://blog.csdn.net/wangli0519/article/details/72810716有监督学习 Supervised Learning2、逻辑回归 Logistic Regression http://blog.csdn.net/wangli0519/article/details/72823659

原创 用Python定义卷积网络

学习内容：numpy 卷积函数，包括零填充、卷积窗口、前向卷积、反向卷积；池化函数，包括前向池化、mask、分配直，反向池化。对比 tensorflow 定义函数:def zero_pad(X, pad):    X_pad = np.pad(X, ((0, 0), (pad, pad), (pad, pad), (0, 0)), 'constant', constant_values=(0, 0...

原创 用Python进行神经网络初始化、正则、优化

初始化：def model(...initilalization = 'he'):if intitialization == 'he':parameters = initialize_parameters_he(layers_dims)-------------------------------------------------def initialize_parameters_he(laye...

原创 用Python构建深度神经网络

学习目标：使用ReLU等非线性单元提升模型性能，构建深度神经网络，执行便于使用的神经网络类需要定义的函数：def initialize_parameters_deep(layer_dims): #layer_dims是包含每层隐藏单元数量的arraynp.random.seed(1)parameters = {}L = len(layer_dims) for l in range(1, L):pa...

原创 用Python定义单层神经网络

学习目标：使用单隐藏层神经网络进行分类，使用非线性激活函数， 计算交叉熵，执行前向和反向传播使用的库：numpy, matplotlib.pyplot, sklearn, sklearn.linear_model设置随机种子以保持结果一致性：np.random.seed(1)使用sklearn进行简单逻辑回归：clf = sklearn.linear_model.LogisticRegressio...

原创 用Python进行神经网络逻辑回归

学习内容：使用神经网络进行逻辑回归，学习算法的总体框架，包括初始化参数、计算成本函数和梯度、使用优化算法（梯度下降）使用到的包：numpy, matplotlib.pyplot, h5py, scipy, PIL.Image, scipy.ndimage, (lr_utils.load_dataset)读取图片：plt.imshow(train_set_x_orig[index]了解训练集和测试集...

原创 深度学习笔记 —— SVM 支持向量机

支持向量机Support Vector Machine (SVM)是有监督学习中最有影响的方法之一。SVM与逻辑回归Logistic Regression相似, 都基于线性函数 wTx+bw^Tx+b 。SVM的关键创新在与kernel trick, 采用样本点乘的形式我们可以将SVM使用的线性函数写成wTx+b=b+∑i=1mαixTx(i)w^Tx+b=b+\sum_{i=1}^m\alpha_

原创 NLP深度学习 —— CS224学习笔记12

1.2 语法松绑SU-RNN不同类别输入的最优W不同。对学习W的工作量加大，但性能提升。现在模型受输入的语法类别条件约束。我们决定类别的方法是通过一个简单的Probabilistic Context Free Grammar PCFG，通过计算Penn Tree Bank的统计摘要习得。例如The永远是DT.我们初始化相同的W，默认是平均两个输入的向量。慢慢的模型学习到

原创 NLP深度学习 —— CS 224学习笔记 11

关键词： RNN， 递归神经网络， MV-RNN， RNTN1、递归神经网络递归神经网络是循环神经网络的一个超集使句子的输入向量规模相同，而不论句子的长度不同，这样我们可以输入任意长度的句子。想象我们的任务是接收一个句子，然后将它体现成与词相同语义空间的一个向量。这样下面三个句子的距离会非常相近。I went to the mall yesterday.We wen

原创 NLP深度学习 —— CS224学习笔记10

2.3 深度双向RNN到目前我们都是使用以前的词来预测后面的词。双向深度神经网络是在每个时间点t，同时有2个隐藏层，一个从左往右传播，一个从右往左传播。最后的分类结果有两个的结合产生。方程式表达为多层的深度结构为2.4 应用：RNN翻译模型我们讨论有RNN来替代传统翻译模型的可能性。这里前3个隐藏层时间点编码来源语言，后2个将h3解码到目标语

原创 NLP深度学习 —— CS224学习笔记9

2.1梯度爆炸或消失计算RNN的误差，我们计算每一步的误差并累加每一步的误差通过微分链法则进行在[k, t]时间区间内对于所有隐藏层的计算每个是h的雅各宾矩阵结合上述表达，我们得到beta_w和beta_h代表两个矩阵范式的上限值。每个t时间戳偏分梯度的的范式两个矩阵的范式通过L2正则来计算。容易变得很大或很小，导致梯度爆炸或消失。2

原创 NLP深度学习 —— CS224学习笔记8

关键词：语言模型，RNN，双向RNN，深度RNN，GRU，LSTM1、语言模型语言模型计算在一个特定序列中一组词出现的概率。一般由一个窗口内之前的n个词决定。这个公式对于语言和翻译系统确定一个词序列是否是准确翻译尤其有用。现有的语言翻译系统中，对每个词组/句子翻译，软件生成一些可替换词组，例如I have, I had, I has, me have, me had等，然后对它

原创 NLP深度学习 —— CS224学习笔记7

2、神经网络技巧和贴士2.1 梯度检查我们讨论了用微分来计算神经网络模型中参数的误差梯度，这里讨论另一种近似技巧，不需要误差反向 传播。其中这种方法计算成本极其高，要使用两次前向传播，但是一种验证反向传播的好方法。一个简单的梯度检查可以用以下方法实现2.2 正则我们使用L2正则防止过拟合是Frobenius范数。使用这样的约束可以解释为先验贝叶斯

原创 NLP深度学习 —— CS224学习笔记6

关键词：神经网络、前向计算、反向传播、神经单元、最大边际损失、梯度检查，Xavier参数初始化，学习速率，Adagrad1 神经网络基础神经网络是具有非线性决策边缘的分类器族群。1.1 神经元神经元是接受n个输入并生成单一输出的通用计算单元。影响输出结果的是神经元的参数，也叫权重。常用的神经元有sigmoid或者binary logistic regression

原创 NLP深度学习 —— CS224学习笔记5

2、外在任务训练1）大部分NLP外在任务可以转化为分类任务。例如句子情感分析，正面、负面或中性。同样在命名实体识别（NER），给定语境和词，我们要把词进行归类。例如[Jim]_person bought 300 shares of [Acme Corp.]_organization in [2006]_time。对于这样的问题，我们首先训练其中X是d维词向量，有词嵌入生

原创 NLP深度学习 —— CS224学习笔记4

关键词：内在和外在评估，相似评估任务中超参数的影响，人类判断和词向量距离的相关性，用语境处理词歧义，窗口分类。词向量和词嵌入交叉使用1、词向量评估我们讨论了例如Word2Vec和GloVe等方法，来训练和发现语义空间中自然语言词的隐含向量表征。现在来定量评估这种技巧产生向量的质量。1）内在评估考虑一个例子，最终目的是建立一个问答系统，使用词向量作为输入。 一种方法是训练一个

原创 NLP深度学习 —— CS224学习笔记3

四、3、 Skip-Gram 模型另一种方法是得到中间的词，然后由模型来预测或生成周边的词。这种模型被成为Skip-Gram模型。设置与此前的CBOW大致相同，只是调换了x和y的顺序。具体可以分解成6步：1）生成one hot 向量 x2)得到语境的嵌入词向量3）将4）生成2m得分向量使用5）将每个得分转换成概率y=softmax(u)6）期望生成的概率

原创 NLP深度学习 —— CS224学习笔记2

基于迭代的方法相对于对数十亿的句子进行计算并储存其全局信息，我们尝试构建模型每次学习一个迭代来编码语境中词的概率。我们对已知和未知的参数设置概率模型，每次训练一个样本，学习基于输入的未知参数的一部分信息，以及模型期望的输出。每次运行模型，我们评估误差，遵循更新规则，并对引起误差的模型参数进行惩罚。这个理念早在1986年就已存在，即误差的反向传播方法。1、语言模型（unigram，

原创 NLP深度学习 —— CS224学习笔记 1

关键词： 自然语言处理， 词向量， 奇异值分解， Skip-gram， 连续词袋（CBOW）， 负抽样一、简介自然语言处理任务简单： 拼写检查， 关键词搜索， 找同义词中度： 从网页、文件解析信息困难： 机器翻译， 语义解析， 指代， 问题回答使用词向量可以把词编码成向量然后通过计算距离来判断相似性，可使用Jaccard, Cosine, Euclidean等二、词

翻译 循环神经网络中Dropout的应用

循环神经网络（RNNs）是基于序列的模型，对自然语言理解、语言生成、视频处理和其他许多任务至关重要。模型的输入是一个符号序列，在每个时间点一个简单的神经网络（RNN单元）应用于一个符号，以及此前时间点的网络输出。RNNs是强大的模型，在许多任务中表现出色，但会快速过拟合。RNN模型中缺少正则化使他难以处理小规模数据，为避免这种情况研究者经常使用提早停止，或者小规模的或未充分定义的模型。Drop

转载 使用少量数据构建强大图像分类模型

此文主要为保留方便今后自己查阅，顺便分享。原链接点击打开链接Building powerful image classification models using very little dataSun 05 June 2016 By Francois Chollet In Tutorials.In this tutorial, we will presen

原创 一些有意思的数据图形化分析

折线图和计数柱状图train["year"] = train.transactiondate.map(lambda x: str(x).split("-")[0])train["month"] = train.transactiondate.map(lambda x: str(x).split("-")[1])train["day"] = train.transactiondate.map

翻译 机器理解的两段式合成网络迁移学习

机器理解（MC）是指对一段提供文本回答问题的能力，是自然语言处理中的一个关键任务。高质量、大规模、人工备注数据集的出现为例如深度神经网络等数据集中但具表达性模型的训练提供了可能。此外，由于答案是文本中的片段因此缩小了可能答案的搜索范围。

翻译 优化器及自动化调超参数

调节超参数是深度学习中成本最高的部分之一。 当前最先进的优化器，例如Adagrad， RMSProp 和 Adam，通过为每个变量灵活地调整学习速率来简化工作，并取得了良好的效果。Adam是一种有效的随机优化方法，只需要一阶梯度和少量内存。该方法通过估计梯度的第一和第二力矩来计算不同参数的适应性学习速率。Adam的名字来源于适应性力矩估计。该方法在设计上结合了两种流行方法的优势，包括在稀疏

原创 一张图看懂常用激活函数

原创 TF Learn入门 —— 稍复杂使用举例

使用TensorFlow的 TF.Learn API 解决二进制分类问题。 根据普查中的个人信息，包括年龄、性别、教育程度和职业（特征），来预测该人年收入是否超过5万美元（目标标签）。将训练logistic regression模型，输出值在0和1之间，表示该人收入超过5万美元的可能性。读取普查数据下载数据import tempfileimport urllibtrain_file

原创 TF Learn入门 —— 简单使用举例

一、载入数据载入常用库from __future__ import absolute_importfrom __future__ import divisionfrom __future__ import print_functionimport tensorflow as tfimport numpy as np载入数据IRIS_TRAINING = 'iris_trai

原创 TF Learn入门 —— 简介

TF Learn 是 TensorFlow 的简化界面，使人更快的开始预测分析和数据挖掘。该库涵盖了多种需求，从线性模型到深度学习应用如文本和图形理解。为什么选择 TensorFlow？TensorFlow 为不同机器学习应用提供了良好的框架。它将继续沿着分布式和基本管道式机器两个方向发展。为什么选择 TensorFlow Learn？更好的从 scikit-learn 单一机

原创 搭积木般构建深度学习网络——Xception完整代码解析

在了解什么是Xception以前，我们首先要了解Inception。Inception结构，由Szegedy等在2014年引入，被称为GoogLeNet（Inception V1)，之后被优化为Inception V2, Inception V3以及最新的Inception-ResNet。Inception自身受早期的网络-网络结构启发。自从首次推出，Inception无论是对于ImageNet的

原创 搭积木般构建深度学习网络 —— ResNet50完整代码解析

这里我们来看一下Keras中ResNet50的代码。关于ResNet的理解可以参阅深度残差网 点击打开链接首先我们需要载入将会使用到的库文件import numpy as npimport warningsfrom keras.layers import Inputfrom keras import layersfrom keras.layers import Dense

原创 Spark应用 —— 文本分析

实体解析在数据清理和融合中是一个普遍但困难的问题。这里我们将展示如何使用Spark来进行强大可扩展的文本分析技巧并执行跨数据集的实体解析。被用来描述结合来自不同数据源的记录表述同一实体的过程，另外一些常用的说法有实体连接、重复侦测、记录匹配、对象识别、数据融合等等。它指在数据集中找到跨不同数据源（例如数据文件、图书、网站、数据库）的同一实体的记录。这里我们要处理来自两个不同数据库的记录，其中A

原创 Spark应用 —— 快速构建用户推荐系统

大数据一个重要的应用是预测用户喜好，例如相关广告的推送、相关产品的推荐、相关图书电影的推荐等。这里我们使用Spark的机器学习来展示如何进行预测。找到文件import osfrom databricks_test_helper import Testdbfs_dir = '...'ratings_filename = dbfs_dir + '/ratings.csv'movies

原创 TensorFlow —— 30秒搞定物体检测

Google发布了新的TensorFlow物体检测API，包含了预训练模型，一个发布模型的jupyter notebook，一些可用于使用自己数据集对模型进行重新训练的有用脚本。使用该API可以快速的构建一些图片中物体检测的应用。这里我们一步一步来看如何使用预训练模型来检测图像中的物体。首先我们载入一些会使用的库import numpy as npimport osimport s

原创 Spark应用——网络服务器日志分析

这里我们展示如何使用Spark来分析网络服务器日志。服务器日志是富含信息的通用大数据。Spark提供了能快速简便执行这类数据分析的工具。日志数据可以来自多个源，如网络、文件、计算机服务器、应用日志、用户产生的内容，并可以用于监视服务器、改善商业和客户信息、构建推荐系统、欺诈侦测以及更多的应用。首先我们需要载入一些会用到的库import reimport datetimefrom d

翻译 生成对抗网络

我们提出一个框架来通过对抗方式评估生成模型，

原创 Spark应用——进行字数统计

非结构性的文本数据在数据分析中越来越重要，Spark是分析这类型数据一个优秀的工具。这里我们构建一个简单的计数应用来统计莎士比亚全集中的高频词。该应用可以被扩展到更大规模的应用，例如统计维基百科中的高频词。我们首先用python的元组列表和sqlContext.createDataFrame方法来构建数据结构，然后打印它的类型和架构。wordsDF = sqlContext.createD

翻译 Spark图计算（二）

图操作如同RDDs有如同map，filter和reduceByKey这些基本操作，属性图也有一些基本操作可以接受用户自定义函数转化属性和结构从而生成新图。优化应用的核心操作定义在Graph中，简便操作是核心的集合并定义在GraphOps中。由于Scala的隐式性GraphOps中的操作可自动的在Graph中获得。例如我们可以计算每个点（定义在GraphOps）的入度如下：val graph

翻译 Spark图计算（一）

GraphX是Spark新的组成部分，主要用于图和图的并行计算。在高层，GraphX扩展了Spark RDD，引入新的图抽象：一个属性依附于点和边的有向多图。为支持图计算，GraphX提供一系列基本运算（例如子图、结合点和聚合消息）并优化了Pregel API的变体。此外，GraphX包含了一组图算法和构建器以简化图分析任务。首先需要在项目中载入Spark和GraphX：import or

翻译 混合合作-竞争环境的多代理行动者鉴定

这里主要探讨在多代理环境的强化学习方法。首先分析在多代理环境下传统算法面临的困难：Q学习面临环境内在非稳定性的挑战，而随着代理数量的增加，策略梯度面临变动。然后提出一个调整的行动者鉴定方法，以考虑其他代理的行动策略并能学习复杂多代理协调的策略。此外，我们介绍一个为每个代理使用策略聚合的训练方法，以取得更具抗干扰性的多代理策略。我们将它与现存的合作、竞争环境的方法相比较，我们的代理能发现多种物理和信

翻译 Spark流计算（四）

DataFrame和SQL操作可以方便的对刘数据使用DataFrame和SQL操作。在 StreamingContext使用的SparkContext构建一个SparkSession。这样driver失败时可以重启。下面的例子对此前的word count例子进行了修改，使用DataFrames和SQL来对词进行计数。每一个RDD转化成一个DataFrame，登记为临时表格并用SQL查询。#