ljp1919的专栏

家里的茶庄生存难,且在这里讨生活。

机器阅读理解系列文章-QANet(Combining Local Convolution with Global Self-Attention for Reading Comprehension)

背景 论文题目:《QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension》 区别于目前大多数包含注意力机制(attention model)和循环神经网络(RNN)的阅读理解模型...

2019-04-10 21:08:33

阅读数 7

评论数 0

机器阅读理解系列文章-BiDAF(Bi-Directional Attention Flow for Machine Comprehension)

0. 简介 BiDAF采用多阶段的、层次化处理,使得可以捕获原文不同粒度的特征。同时使用双向的attention流机制以在无需摘要的情况下获得相关问句和原文之间的表征。 1. 相关工作 现有的端-端机器阅读理解中使用到attention机制有3类。 第一类是动态attention机制。attent...

2019-04-08 18:54:39

阅读数 12

评论数 0

Transformer学习笔记

0-背景 机构:Google 大脑 作者:Ashish Vaswani等 发表会议:NIPS2017 面向任务:机器翻译 论文地址:https://arxiv.org/abs/1706.03762 论文代码:https://github.com/tensorflow/tensor2tensor/b...

2019-01-26 18:26:07

阅读数 499

评论数 1

protege推理系列-1-对象属性推理

0-背景 假设有如下一个情景: 小明去北京,如果北京下雨,则小明需要带伞。 需要在protege中表示上述的情景。 定义了3个class:person,place,daily_use。 对应的实体,分别是小明,北京和雨伞。 同时创建了对象属性:go_to,其domain是person,range是...

2018-11-16 10:54:08

阅读数 289

评论数 0

DeepFM论文阅读笔记

0-摘要 DeepFM融合了因子分解机(FM)的推荐优势和Deep Learing的特征提取优势。在基准数据和商业数据上都表现优越。 1- 介绍 点击率(CTR)预测是估计用户对某个商业项目进行点击的概率。提升点击人数,从而提升CTR。对于在线广告,提升CTR可以增加企业的收入。总体上来说,排序的...

2018-10-18 11:56:55

阅读数 356

评论数 0

文献阅读笔记-Key-Value Memory Networks for Directly Reading Documents

文献阅读笔记-Key-Value Memory Networks for Directly Reading Documents0-背景1-详情1-1 模型介绍1-2 Key-Value memory的选取2-实验 0-背景 在问答系统中直接从文本中获取答案要难于从KB(knowledge base...

2018-10-12 20:46:53

阅读数 228

评论数 0

神经网络参数初始化问题代码测试

背景: 神经网络的参数初始化,一般是采用随机初始化的方式。如果是初始化为全0,会导致每层的多个神经元退化为一个,即在每层中的多个神经元是完全失效的。虽然层与层之间仍然是有效的,但是每层一个神经元的多层神经网络,你真的觉得有意思?有什么想法,欢迎留言。 代码测试: 2层神经网络的全0初始化...

2018-04-15 13:45:11

阅读数 255

评论数 0

nginx中location的正则配置

背景 一个项目中在location中配置的uri是变化的,需要通过正则项来匹配。此外顺便梳理下location中的配置问题。 详解: 模式 含义 location = /uri = 表示精确匹配,只有完全匹配上才能生效 location ^~ /uri...

2018-03-28 17:10:31

阅读数 884

评论数 0

多进程下的文件写操作

背景: 进行多进程处理过程中,对处理结果写到结果文件中。 问题描述: 如果不采用锁或者其他进程同步的方式的话,如下代码: void process_filelock_nonelock() { int x=0;//如果操作的变量不是进程共享的话,那么就各自操作自己的x,不会...

2018-02-08 17:47:12

阅读数 518

评论数 0

机器学习笔记-6.5逻辑回归的代价函数及其求导

0- 背景 定义逻辑回归的代价函数时,不能够像线性回归那样,否则代价函数变成一个非函数,难以收敛到全局最优。 1- 线性回归代价函数: 线性回归中的代价函数: J(θ)=12m∑i=1m(yi−hθ(xi))2J(\theta )=\frac{1}{2m}\sum_{i=1}^{m}(...

2018-01-21 16:04:47

阅读数 4264

评论数 0

第4门课程-卷积神经网络-第四周作业(图像风格转换)

0- 背景 所谓的风格转换是基于一张Content图像和一张Style图像,将两者融合,生成一张新的图像,分别兼具两者的内容和风格。 所需要的依赖如下: import os import sys import scipy.io import scipy.misc import matpl...

2018-01-20 16:12:42

阅读数 1172

评论数 3

第4门课程-卷积神经网络-第四周作业(人脸识别)

1- 背景 FaceNet从神经网络中学习到以128维度的向量对人脸图像进行表示。通过对比两个向量的相似度,从而确定两者是否是同一个人。 本文中将采用 triplet loss function(三元组的损失函数),且采用一个预训练的模型对图像进行编码矢量化;在此基础上,再进行人脸的校验(fa...

2018-01-20 09:15:29

阅读数 1549

评论数 0

第4门课程-卷积神经网络-第三周作业(机器视觉中物体检测)

0- 背景: 本文主要介绍在自动驾驶中常用的车辆探测模型YOLO模型。 本文依赖的包如下: import argparse import os import matplotlib.pyplot as plt from matplotlib.pyplot import imshow imp...

2018-01-17 22:46:46

阅读数 1668

评论数 1

第4门课程-卷积神经网络-第二周作业1-基于Keras的人脸表情分类

0- 背景: 从人脸图像中的表情判断一个人是否快乐。本文将基于Keras实现该功能。Keras是一个更高级的API,其底层框架可以是TensorFlow或者CNTK。 1-数据加载: 导入依赖的库: import numpy as np #import tensorflow as tf f...

2018-01-10 21:34:33

阅读数 982

评论数 3

第4门课程-卷积神经网络-第一周作业2(基于卷积神经网络的手势分类)

0- 背景 本文介绍基于TensorFlow的卷积神经网络及其具体应用实例。 1-数据导入: # Loading the data (signs) X_train_orig, Y_train_orig, X_test_orig, Y_test_orig, classes = load...

2018-01-08 21:45:49

阅读数 1146

评论数 4

第4门课程-卷积神经网络-第二周作业2(基于残差网络的手势分类)

0- 背景 本文介绍基于残差网络的深层卷积神经网络,Residual Networks(ResNets)。 从理论上分析,神经网络层数越多,可以表示更复杂的模型函数。CNN能够提取low/mid/high-level的特征,网络的层数越多,意味着能够提取到不同level的特征越丰富。并且,越深...

2018-01-07 17:55:29

阅读数 1392

评论数 1

第4门课程-卷积神经网络-第一周作业

背景介绍卷积层 (CONV)和池化层(POOL) 的前向和后向传播操作。本文约定如下: 上标[l][l] 为该变量所在的层数,即第 lthl^{th}层;例如: a[4]a^{[4]}为第4th4^{th} 层的激活函数, W[5]W^{[5]} 和b[5]b^{[5]} 则对应的是第5层(5th...

2017-12-17 21:33:49

阅读数 562

评论数 0

Lua中如何防止sql注入

背景:假设我们在用户登录使用上 SQL 语句查询账号是否账号密码正确,用户可以通过 GET 方式请求并发送登录信息比如:http://localhost/login?name=person&password=12345那么我们上面的代码通过 ngx.var.arg_name 和 ngx.v...

2017-11-17 11:34:30

阅读数 1111

评论数 0

DeepLearing学习笔记-改善深层神经网络(第三周作业-TensorFlow使用)

0- 背景:采用TensorFlow的框架进行神经网络构建和结果预测1- 环境依赖:import math import numpy as np import h5py import matplotlib.pyplot as plt import tensorflow as tf from ten...

2017-10-22 16:29:45

阅读数 3607

评论数 2

DeepLearing学习笔记-改善深层神经网络(第三周- 将batch-norm拟合进神经网络)

0- 背景介绍如何将batch归一化引入到神经网络中1- 流程如下:在计算z之后,才是之前介绍的batch归一化方法,对其进行归一化,再替代原来的z值,输入到下该层的激活函数中。其他隐藏层,操作类似。 在实际中,可以直接使用框架中函数,而不必自己实现这些具体的细节。tf.batch_norm...

2017-10-20 22:46:02

阅读数 410

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭