Deep Learning
王发北
这个作者很懒,什么都没留下…
展开
-
使用神经网络进行微积分运算
大家上学时,最头疼的课程是什么呢?对大部分人来说,应该就是 高等数学了吧,比如 什么泰勒公式,微积分等,想想就让人头疼。接下来就是,but.最近FAIR(Facebook AI Research) 又暴雷了,他们使用神经网络训练了一个可以解微积分的model. 并且这个 模型相比之前的Matlab以及Maththematica快不少,并且准确率也高不少。这个model的准确率基本上是100%,比其...原创 2019-12-21 11:21:25 · 2524 阅读 · 0 评论 -
FB力挺的Pytorch深度学习 书本来了
获得 fb首席科学家力挺的 pytorch教程 发布啦,看截图整个 pdf一共141页,相对 其它教程来说 已经 相当精简了,先看一下目录结构因为这本书 主要是 利用pytorch,所以 作者单独将pytorch单独写了一张,据我前一段时间看的 数据统计 说 现在 学术界 超过 60%都在使用pytorch,tensorflow在工业界分量超过pytorch.好了,tf不过多说了,主要...原创 2019-11-22 14:10:38 · 1435 阅读 · 0 评论 -
tensorflow2.0 is coming
tensorflow 2.0 变化还是 蛮大的,特别是 变量创建还有就是tf.contrib 将会去除,还有 支持的语言更丰富了原文链接:https://medium.com/tensorflow/whats-coming-in-tensorflow-2-0-d3663832e9b8?linkId=62351082Thanks to an incredible and diverse ...原创 2019-01-15 09:55:11 · 902 阅读 · 0 评论 -
Grasp2Vec: Learning Object Representations from Self-Supervised Grasping
最近看了一篇 关于 Object Representations的文章,觉得 思路 挺新颖的,故而,,考虑到 有可能有些 同学 访问不了该网站:https://ai.googleblog.com/2018/12/grasp2vec-learning-object.html故而,将内容贴出来,大家可以看看。From a remarkably young age, people ar...原创 2018-12-12 11:51:35 · 695 阅读 · 0 评论 -
神经网络的反向传播算法解释(back propagation)
最近好多同学在学习神经网络,而神经网络的核心应该就是BP算法了,好多同学对这块不太理解,在此,我就简单说一下。可以简单总结一句话:复合函数求偏导,请看下文详细解读:Forward propagation:Z1=W1*X0+B1A1=g(Z1)Z2=W2*A1+B2A2=g(Z2)…..Zn=Wn*An-1+BnAn=g(Zn)以上就是fp的整...原创 2018-12-27 20:49:42 · 870 阅读 · 0 评论 -
facebook开源新的语音识别框架wav2letter++
Open sourcing wav2letter++, the fastest state-of-the-art speech system, and flashlight, an ML library going native原文介绍:https://code.fb.com/ai-research/wav2letter/主要介绍了使用CNN来实现语音识别的方法WHAT T...原创 2018-12-22 12:04:27 · 788 阅读 · 0 评论 -
facebook的开源梯度优化工具Nevergrad
facebook的开源梯度优化工具github:https://github.com/facebookresearch/nevergrad官方原文地址:https://code.fb.com/ai-research/nevergrad/Nevergrad: An open source tool for derivative-free optimizationMost machin...原创 2018-12-21 09:55:02 · 1222 阅读 · 0 评论 -
facebook开源更快的NLP开发框架PyText
Open-sourcing PyText for faster NLP development方便大家阅读,从官网 粘下来了facebook刚开源PyText,官网访问https://code.fb.com/ai-research/pytext-open-source-nlp-framework/github:https://github.com/facebookresearch/py...原创 2018-12-15 16:25:25 · 1094 阅读 · 0 评论 -
tensorflow serving部署问题
最近在研究 tensorflow serving ,按照官方的demo尝试部署resnet模型,地址:https://medium.com/tensorflow/serving-ml-quickly-with-tensorflow-serving-and-docker-7df7094aa008docker 安装,resnet模型下载,启动容器均没有问题,唯独再跑 调用例子 resn...原创 2018-12-13 14:08:25 · 1146 阅读 · 0 评论 -
Facebook AI 2018年终总结
干货满满,大家细读呀,原文链接:https://code.fb.com/ai-research/ai-2018/,文章中也有 一些 链接,是对 每个技术点的详解,自己想办法吧。有一些 在之前的博客中有提到,wav2letter++,pytextAI year in reviewAt Facebook, we think that artificial intelligence th...原创 2019-01-10 10:23:35 · 607 阅读 · 0 评论 -
jupyter notebook 语言显示问题
这两天 更新 notebook至最新版 5.7.4,然而 发现 显示 出现 部分中文 部分英文的情况,如下图所示:之前已经习惯 使用 纯英文,突然出现 这种情况,总让人 感觉很不爽,刚开始 认为 可能是 安装 其他包的时候,对notebook设置进行了改动,故而首先 采取 uninstall 和install.然而 问题 还是 没有解决,看着 这个界面 好恶心呀,然后在 gith...原创 2019-02-13 20:30:47 · 11930 阅读 · 1 评论 -
序列模型开发者的福音Lingvo: A TensorFlow Framework for Sequence Modeling
原文地址:https://medium.com/tensorflow/lingvo-a-tensorflow-framework-for-sequence-modeling-8b1d6ffba5bb?linkId=63952201github:https://github.com/tensorflow/lingvocolab:https://colab.research.google.co...原创 2019-02-25 10:07:46 · 714 阅读 · 0 评论 -
tf.contrib.crf.crf_log_likelihood说明
最近在 做一个 NER的项目,使用的是BILSTM+CRF 结构,github,求star。现在 对 使用tf.contrib.crf.crf_log_likelihood时,遇到的参数问题 说一下:官方说明:https://www.tensorflow.org/code/stable/tensorflow/contrib/crf/python/ops/crf.pytf.contr...原创 2019-03-27 16:25:13 · 4339 阅读 · 0 评论 -
ChineseNER based deep learning
上篇文章讲解 了tf.contrib.crf.crf_log_likelihood的使用,这边文章主要说一下 这个项目,详见github,求 Star~~,项目会不断更新注意 ,我这里使用的tensorflow版本是1.13.1.如果您使用 tensorflow2.0,contrib这个namespace已经不存在了,请注意里面用的 训练集 是 来源于https://bosonnlp.c...原创 2019-04-03 10:27:54 · 530 阅读 · 0 评论 -
tensorflow estimator使用总结
最近在使用estimator做项目,发现 官网 对 这个 estimator整体的讲解 和使用 过程中的细节讲的比较少,结合 我是用过程中的问题,对 estimator的使用步骤进行了总结,如下:代码 见github,求star~~1. estimator主要需要model_fn,input_fn 以及 serving_fn2. model_fn主要是是用来定义model ,input_...原创 2019-05-24 15:12:38 · 7886 阅读 · 0 评论 -
深度学习各种normalization
各种Normalization层出不穷,现做一下总结,以供大家学习参考1. BN:Batch Normalization这是大家最熟悉的了,结合上图针对每一批, 正规化,减少前一层对后层的影响 针对一批中的 每一个 feature进行 normalization(也即每一个 feature采用不同的规范化操作),而 normal后是一个向量,向量的维度是 feature的个...原创 2019-05-25 15:19:50 · 1730 阅读 · 0 评论 -
tensorflow feature_column详解
关于 feature_column官网说的 还比较少,其它说明 大多数 都是 直接 翻译 官网解释,很明显,达不到效果,现在 对feature_column进行说明,更详细的说明,可以参照github:https://github.com/AlbertBJ/tensorflow-summary此外,我还对 estimator进行了总结 以及 如何使用的 例子,github:https:...原创 2019-06-03 16:41:04 · 13444 阅读 · 0 评论 -
号称20项任务全面碾压BERT的XLNet横空出世
还记得BERT的轰动么,它可是横扫NLP领域,现在CMU的XLNet可是 在20项的NLP任务中碾压BERT,具体论文还没有细看,大家也可以先看一下:论文:https://arxiv.org/pdf/1906.08237.pdfXlNet源码:https://github.com/zihangdai/xlnet由于XLNet是借助transformer-XL,故而XL的源码大家...原创 2019-06-22 10:52:12 · 597 阅读 · 0 评论 -
LSTM详解
最近有同学问我,LSTM是怎么回事,我就总结一下,方便大家学习参考大神的解读:https://colah.github.io/posts/2015-08-Understanding-LSTMs/另外就是还有吴老师的视频,现讲解如下:下图是吴老师课程的图:通过门,LSTM可以增加或者去除 cell_state(也就是上图中的c)的信息。门使用sigmoid函数,其值是[...原创 2019-09-27 10:29:19 · 581 阅读 · 0 评论 -
precision recall accuracy F1 说明
最近有些同学 问我一些 关于 precision recall 和 accuracy的问题,我觉得有必要在此处解释一下,以上图what-if中的混淆矩阵为例,矩阵第一行分别是tp,fn第二行分别是fp,tnprecision=tp/(tp+fp)recall=tp/(tp+fn)accuracy=(tp+tn)/allprecision和recall两个是负相关性,即preci...原创 2018-11-16 15:33:27 · 728 阅读 · 0 评论 -
google what-if Fairness metrics说明
关于what-if 我就不做介绍了,一般 能看到 之篇文章的 同学,都应该已经了解到 它是什么了。下面 就只对what-if 中 算法公平性这块 进行说明,什么是算法公平性,一句话概括:医生,大家一般会想起是 男性,而护士 一般都是女性,这就是 算法 不公平。直接看 what-if demohttps://pair-code.github.io/what-if-tool/imag...原创 2018-10-18 17:02:30 · 556 阅读 · 2 评论 -
keras使用Tensorboard
tensorboard可視化 夠震撼,但是 使用tf來生成log,有點麻煩。那就是用tf的高層封裝 Keras來生成log,進而啟動tensorboard。只需要 引入 tensorBoardfrom keras.callbacks import TensorBoard,然後在fit的時候,添加callbacks=[TensorBoard(log_dir='./log_di...原创 2018-09-19 15:56:28 · 5642 阅读 · 1 评论 -
win10 安装 facets步骤
1. 安装 jupyter (不用多说)2. 安装facets pip install facets3. 安装 protobufpip install protobuf4. download facets 地址:https://github.com/PAIR-code/facets 直接用 git clonehttps://github.com/PAIR-code...原创 2018-05-28 19:38:40 · 2060 阅读 · 4 评论 -
深度学习 jazz solo 解析
吴老师 的 深度 学习 中 关于 jazz solo练习中,关于生成 时的困惑:1. 直接调用predict_and_sample2. 看 predict_and_sample 实现:def predict_and_sample(inference_model, x_initializer = x_initializer, a_initializer = a_initialize...原创 2018-05-16 16:45:33 · 983 阅读 · 0 评论 -
利用keras输出模型图片报错 Failed to import pydot. You must install pydot and graphviz for `pydotprint` to work
调用keras的plot_model模型:报Failed to import pydot. You must install pydot and graphviz for `pydotprint` to work.但是明明 我已经安装 了 pydot(1.2.3)以及graphviz(2.38).经查找,原来是 环境变量的问题:只需要加入以下语句即可:import...翻译 2018-05-16 10:40:35 · 373 阅读 · 0 评论 -
深度学习 operations on word vectors 读取词嵌入矩阵报错: 'gbk' codec can't decode byte 0x93 in position 3136
ng的operations on word vectors 这个练习中在 读取glove.6B.50d.txt时,报以下错误:UnicodeDecodeError: 'gbk' codec can't decode byte 0x93 in position 3136: illegal multibyte sequence解决方法:将 w2v_utils.py中的r...原创 2018-05-22 09:49:31 · 5909 阅读 · 12 评论 -
tensorflow使用步骤
ng总结的tf使用步骤知乎:https://zhuanlan.zhihu.com/albertwang微信公众号:AI-Research-Studio 下面是赞赏码转载 2018-05-15 11:39:30 · 230 阅读 · 0 评论 -
python常用包说明
Numpy:使用python就行科学计算的基础包Pandas: 数据结构和数据分析H5py:用来与H5文件进行交互的包Matplotlib:用来画图PIL或者Pillow:用来操作图片Scipy. Ndimage 顾名思义 N-dimensionimage 可以用于做n维图像的处理,比如说图像的滤波:高斯过滤以及值过滤Sklearn(scikit-learn)为...原创 2018-05-09 10:57:28 · 1154 阅读 · 0 评论 -
import error no module named pil
深度学习 第一课的 第一个 编程题,报mport error no module named pil ,从报错看,肯定是没有 这个包了,故而尝试安装该包,但是问题来了,1. 目前该包 只支持 python2.X,3.x目前还不支持(截止该篇文章发布时)地址: http://www.pythonware.com/products/pil/#pil1172. 该包 没有 64...原创 2018-04-04 15:32:51 · 235 阅读 · 0 评论 -
L层神经网络个参数维度
上图 展示了 L层 神经网络 各参数的维度,其中n[l]表示 第l层的单元数,X是(12288,209)的矩阵(12288数每一个训练实例的特征数,209表示 训练元素个数)知乎:https://zhuanlan.zhihu.com/albertwang微信公众号:AI-Research-Studio 下面是赞赏码...翻译 2018-04-09 14:17:59 · 1292 阅读 · 0 评论 -
深度学习 neural machine translation with attention 错误解析
在这次的 练习中,在 load 过模型参数后,进行 example预测时,报错。以下是代码部分EXAMPLES = ['3 May 1979', '5 April 09', '21th of August 2016', 'Tue 10 Jul 2007', 'Saturday May 9 2018', 'March 3 2001', 'March 3rd 2001', '1 Mar...原创 2018-05-24 16:27:27 · 1245 阅读 · 1 评论 -
keras lstm关键参数说明
keras对lstm的参数说明比较少,如果没有好好研究lstm,则有时会比较困惑,现将容易理解困惑的三个参数说明一下:Units:指的是 每一个lstm单元的hidden layer 的神经元数量(就是ng课程里面额a,也就是输入到softmax单元的)return_sequences:True 每一个lstm单元均输出hidden layer;false:只有最后一个lstm单元输出hi...原创 2018-06-21 10:53:55 · 10574 阅读 · 0 评论 -
win10安装mlflow过程中 更新protobuf报错
如题所示,mlflow的安装需要依赖protobuf,而我之前 安装tensorflow时,已经安装了protobuf3.5.2.今天 在安装mlflow时,在 更新protobuf(3.5.2---> 3.6.1)报错,如下:这个问题,google了一下,都是 说 修改 protobuf所在 文件夹的权限,但是 修改过了,还是 报 同样的错误。突然,想起来是不是 因...原创 2018-09-10 11:31:36 · 709 阅读 · 0 评论 -
tf.string_split使用
tensorflowstring_split使用,不懂的方法覺得還是 看 源碼 來的 快先看源碼 位置:源碼如下:@tf_export("string_split")def string_split(source, delimiter=" ", skip_empty=True): # pylint: disable=invalid-name"""Split element...翻译 2018-09-17 14:18:46 · 4753 阅读 · 0 评论 -
python读取hdfs并返回dataframe
不多说,直接上代码from hdfs import Clientimport pandas as pdHDFSHOST = "http://xxx:50070"FILENAME = "/tmp/preprocess/part-00000" #hdfs文件路径COLUMNNAMES = [xx']def readHDFS():'''读取hdfs文件...原创 2018-09-03 15:56:24 · 7596 阅读 · 1 评论 -
python 读写hive
最近正在 做一个 项目,需要把 算法模型的结果持久化 至hive.目前 使用的 pyhive,切记 在windows上不能使用,我目前在centos6.5上使用,官方说再macos和linux上可用。from pyhive import hiveimport pandas as pd# from sqlalchemy import create_engine# from py...原创 2018-09-03 14:09:29 · 14293 阅读 · 2 评论 -
cbow和skip-gram实现关键代码解析
源码地址:https://github.com/AlbertBJ/word2vecpy.git这也是 我 fork别人的,觉得写得很棒,所以拜读了大神的代码,先对 关键点 进行说明:主要是 针对train_process这个方法中 针对 负采样 计算方法: # Randomize window size, where win is the max win...原创 2018-08-10 14:17:11 · 2493 阅读 · 0 评论 -
windows下将python模型保存为PMML文件
首先 需要 搞明白 一个 问题就是,为什么需要 将模型 保存为 pmml文件,以及 pmml文件是什么 东东。1. 什么 是pmml文件 predict model markup language 预测模型标记语言,它以xml格式保存,既然是 xml,那就是可以跨平台了啊。更详细的自行 google.2. 为什么要转换为pmml 我离线 训练了一个 模型,怎么 ...原创 2018-07-31 15:13:53 · 4204 阅读 · 0 评论 -
常用激活函数求导
知乎:https://zhuanlan.zhihu.com/albertwang微信公众号:AI-Research-Studio 下面是赞赏码原创 2018-07-27 15:28:01 · 6979 阅读 · 0 评论 -
Kmeans 优化
通过学习 李航 博士 的统计学习方法,知道了kd树 用于优化Kmeans算法,不经意间,看到了还有一种优化算法,叫 Ball tree,先将这两种算法的比较列举如下:Kd树: 依次对K维坐标轴,以中值切分构造的树,每一个节点都是一个超矩形,在维数小于20时,效率最高。 Balltree: 为了克服kd树高维失效而发明的,其构造过程是以质心C和半径R分割样本空间,每一个节点都是一...原创 2018-06-27 16:13:52 · 641 阅读 · 0 评论