王发北-CSDN博客

大家上学时，最头疼的课程是什么呢？对大部分人来说，应该就是高等数学了吧，比如什么泰勒公式，微积分等，想想就让人头疼。接下来就是，but.最近FAIR(Facebook AI Research) 又暴雷了，他们使用神经网络训练了一个可以解微积分的model. 并且这个模型相比之前的Matlab以及Maththematica快不少，并且准确率也高不少。这个model的准确率基本上是100%，比其...

2019-12-21 11:21:25 2521

原创 FB力挺的Pytorch深度学习书本来了

获得 fb首席科学家力挺的 pytorch教程发布啦，看截图整个 pdf一共141页，相对其它教程来说已经相当精简了，先看一下目录结构因为这本书主要是利用pytorch，所以作者单独将pytorch单独写了一张，据我前一段时间看的数据统计说现在学术界超过 60%都在使用pytorch，tensorflow在工业界分量超过pytorch.好了，tf不过多说了，主要...

2019-11-22 14:10:38 1434

原创 LSTM详解

最近有同学问我，LSTM是怎么回事，我就总结一下，方便大家学习参考大神的解读：https://colah.github.io/posts/2015-08-Understanding-LSTMs/另外就是还有吴老师的视频，现讲解如下：下图是吴老师课程的图：通过门，LSTM可以增加或者去除 cell_state（也就是上图中的c）的信息。门使用sigmoid函数，其值是[...

2019-09-27 10:29:19 580

原创号称20项任务全面碾压BERT的XLNet横空出世

还记得BERT的轰动么，它可是横扫NLP领域，现在CMU的XLNet可是在20项的NLP任务中碾压BERT,具体论文还没有细看，大家也可以先看一下：论文：https://arxiv.org/pdf/1906.08237.pdfXlNet源码：https://github.com/zihangdai/xlnet由于XLNet是借助transformer-XL，故而XL的源码大家...

2019-06-22 10:52:12 597

原创 tensorflow feature_column详解

关于 feature_column官网说的还比较少，其它说明大多数都是直接翻译官网解释，很明显，达不到效果，现在对feature_column进行说明，更详细的说明，可以参照github：https://github.com/AlbertBJ/tensorflow-summary此外，我还对 estimator进行了总结以及如何使用的例子，github:https:...

2019-06-03 16:41:04 13438

原创深度学习各种normalization

各种Normalization层出不穷，现做一下总结，以供大家学习参考1. BN：Batch Normalization这是大家最熟悉的了，结合上图针对每一批，正规化，减少前一层对后层的影响针对一批中的每一个 feature进行 normalization（也即每一个 feature采用不同的规范化操作），而 normal后是一个向量，向量的维度是 feature的个...

2019-05-25 15:19:50 1724

原创 tensorflow estimator使用总结

最近在使用estimator做项目，发现官网对这个 estimator整体的讲解和使用过程中的细节讲的比较少，结合我是用过程中的问题，对 estimator的使用步骤进行了总结，如下:代码见github，求star~~1. estimator主要需要model_fn，input_fn 以及 serving_fn2. model_fn主要是是用来定义model ,input_...

2019-05-24 15:12:38 7878

原创 ChineseNER based deep learning

上篇文章讲解了tf.contrib.crf.crf_log_likelihood的使用，这边文章主要说一下这个项目，详见github，求 Star~~，项目会不断更新注意，我这里使用的tensorflow版本是1.13.1.如果您使用 tensorflow2.0，contrib这个namespace已经不存在了，请注意里面用的训练集是来源于https://bosonnlp.c...

2019-04-03 10:27:54 530

原创 tf.contrib.crf.crf_log_likelihood说明

最近在做一个 NER的项目，使用的是BILSTM+CRF 结构，github，求star。现在对使用tf.contrib.crf.crf_log_likelihood时，遇到的参数问题说一下：官方说明：https://www.tensorflow.org/code/stable/tensorflow/contrib/crf/python/ops/crf.pytf.contr...

2019-03-27 16:25:13 4335

原创 python 虚拟环境设置（windows）

python创建虚拟环境（windows下）1,。安装virtualenvwrapper-win pip install virtualenvwrapper-win 2. 配置环境变量WORKON_HOME 以后设置的虚拟环境均在此目录下面 3. 创建虚拟环境(在cmd下)： mkvirtualenv virtualName4. 进入虚拟环境： w...

2019-03-18 13:46:07 819

原创 tensorflow Federated: 本地模型训练，无需上传训练数据

google 刚发布了 TFF 框架，全名是 TensorFlow Federated,它是干什么的呢,可以大概总结下：边缘设备（比如：手机）在本地利用本地数据训练模型，进而把本地训练的模型参数上传服务器，然后服务器对各个边缘设备上传的模型参数进行聚合。为什么需要这样做呢？目前大家主要的做法是把各种数据收集至 server,然后利用汇总的数据进行模型...

2019-03-08 10:47:10 6920 1

原创序列模型开发者的福音Lingvo: A TensorFlow Framework for Sequence Modeling

原文地址：https://medium.com/tensorflow/lingvo-a-tensorflow-framework-for-sequence-modeling-8b1d6ffba5bb?linkId=63952201github:https://github.com/tensorflow/lingvocolab:https://colab.research.google.co...

2019-02-25 10:07:46 707

原创 jupyter notebook 语言显示问题

这两天更新 notebook至最新版 5.7.4，然而发现显示出现部分中文部分英文的情况,如下图所示：之前已经习惯使用纯英文，突然出现这种情况，总让人感觉很不爽，刚开始认为可能是安装其他包的时候，对notebook设置进行了改动，故而首先采取 uninstall 和install.然而问题还是没有解决，看着这个界面好恶心呀，然后在 gith...

2019-02-13 20:30:47 11925 1

原创 win10 python spark ml(pyspark)安装

1. 安装python环境，自己google吧2. 安装jdk8, jdk-8u191-windows-x64.exe 如果本地安装的10，那么就请切换至8，这点必须的。3. 安装pyspark4. 安装 Hadoop和 sparkspark-2.3.2-bin-hadoop2.6.tgzhadoop-2.6.4.tar.gz解压的时候，最好使用管理员权限 ...

2019-01-22 19:38:16 1543

原创 tensorflow2.0 is coming

tensorflow 2.0 变化还是蛮大的，特别是变量创建还有就是tf.contrib 将会去除，还有支持的语言更丰富了原文链接：https://medium.com/tensorflow/whats-coming-in-tensorflow-2-0-d3663832e9b8?linkId=62351082Thanks to an incredible and diverse ...

2019-01-15 09:55:11 901

原创 Facebook AI 2018年终总结

干货满满，大家细读呀，原文链接：https://code.fb.com/ai-research/ai-2018/,文章中也有一些链接，是对每个技术点的详解，自己想办法吧。有一些在之前的博客中有提到，wav2letter++，pytextAI year in reviewAt Facebook, we think that artificial intelligence th...

2019-01-10 10:23:35 605

原创吴恩达老师机器学习资料

最近有同学问我要一些机器学习的资料，现分享一下，有视频，编程题，开发下面是吴恩达老师的视频课程：https://pan.baidu.com/s/1EUWlqdUUneQwWMsN4C6dFQ或者直接上 https://www.coursera.org/ 上面也可以学习，目前这个课程是免费的。建议按照coursera的视频看一遍（因为线上会对 ...

2019-01-04 10:16:18 655

原创神经网络的反向传播算法解释（back propagation）

最近好多同学在学习神经网络，而神经网络的核心应该就是BP算法了，好多同学对这块不太理解，在此，我就简单说一下。可以简单总结一句话：复合函数求偏导，请看下文详细解读：Forward propagation:Z1=W1*X0+B1A1=g(Z1)Z2=W2*A1+B2A2=g(Z2)…..Zn=Wn*An-1+BnAn=g(Zn)以上就是fp的整...

2018-12-27 20:49:42 868

原创 facebook开源新的语音识别框架wav2letter++

Open sourcing wav2letter++, the fastest state-of-the-art speech system, and flashlight, an ML library going native原文介绍：https://code.fb.com/ai-research/wav2letter/主要介绍了使用CNN来实现语音识别的方法WHAT T...

2018-12-22 12:04:27 788

原创 facebook的开源梯度优化工具Nevergrad

facebook的开源梯度优化工具github：https://github.com/facebookresearch/nevergrad官方原文地址：https://code.fb.com/ai-research/nevergrad/Nevergrad: An open source tool for derivative-free optimizationMost machin...

2018-12-21 09:55:02 1218

原创 facebook开源更快的NLP开发框架PyText

Open-sourcing PyText for faster NLP development方便大家阅读，从官网粘下来了facebook刚开源PyText，官网访问https://code.fb.com/ai-research/pytext-open-source-nlp-framework/github：https://github.com/facebookresearch/py...

2018-12-15 16:25:25 1092

原创 tensorflow serving部署问题

最近在研究 tensorflow serving ,按照官方的demo尝试部署resnet模型，地址：https://medium.com/tensorflow/serving-ml-quickly-with-tensorflow-serving-and-docker-7df7094aa008docker 安装，resnet模型下载，启动容器均没有问题，唯独再跑调用例子 resn...

2018-12-13 14:08:25 1144

原创 Grasp2Vec: Learning Object Representations from Self-Supervised Grasping

最近看了一篇关于 Object Representations的文章，觉得思路挺新颖的，故而，，考虑到有可能有些同学访问不了该网站：https://ai.googleblog.com/2018/12/grasp2vec-learning-object.html故而，将内容贴出来，大家可以看看。From a remarkably young age, people ar...

2018-12-12 11:51:35 695

原创 HMM解读

HMM的三个基本问题：Problem 1 (Likelihood): Given an HMM λ = (A,B) and an observation sequence O, determine the likelihood P(O|λ).Problem 2 (Decoding/Prediction): Given an observation sequence O a...

2018-12-11 19:17:18 649

原创 precision recall accuracy F1 说明

最近有些同学问我一些关于 precision recall 和 accuracy的问题，我觉得有必要在此处解释一下，以上图what-if中的混淆矩阵为例，矩阵第一行分别是tp,fn第二行分别是fp,tnprecision=tp/(tp+fp)recall=tp/(tp+fn)accuracy=(tp+tn)/allprecision和recall两个是负相关性，即preci...

2018-11-16 15:33:27 725

原创 google what-if Fairness metrics说明

关于what-if 我就不做介绍了，一般能看到之篇文章的同学，都应该已经了解到它是什么了。下面就只对what-if 中算法公平性这块进行说明，什么是算法公平性，一句话概括：医生，大家一般会想起是男性，而护士一般都是女性，这就是算法不公平。直接看 what-if demohttps://pair-code.github.io/what-if-tool/imag...

2018-10-18 17:02:30 553 2

原创 keras使用Tensorboard

tensorboard可視化夠震撼，但是使用tf來生成log，有點麻煩。那就是用tf的高層封裝 Keras來生成log,進而啟動tensorboard。只需要引入 tensorBoardfrom keras.callbacks import TensorBoard,然後在fit的時候，添加callbacks=[TensorBoard(log_dir='./log_di...

2018-09-19 15:56:28 5641 1

翻译 tf.string_split使用

tensorflowstring_split使用，不懂的方法覺得還是看源碼來的快先看源碼位置：源碼如下：@tf_export("string_split")def string_split(source, delimiter=" ", skip_empty=True): # pylint: disable=invalid-name"""Split element...

2018-09-17 14:18:46 4751

原创 win10安装mlflow过程中更新protobuf报错

如题所示，mlflow的安装需要依赖protobuf，而我之前安装tensorflow时，已经安装了protobuf3.5.2.今天在安装mlflow时，在更新protobuf（3.5.2---> 3.6.1）报错，如下：这个问题，google了一下，都是说修改 protobuf所在文件夹的权限，但是修改过了，还是报同样的错误。突然，想起来是不是因...

2018-09-10 11:31:36 706

原创 centos 6.5 部署开机启动任务

本例以执行python为例，请注意，本次使用的是centos6.5，该版本不能使用systemctl。比如需要执行 task.py文件1. sudo vim /etc/rc.local2. 加入以下语句： /usr/bin/python3 /home/tasks/task.py &/usr/bin/python3是本机的python环境地址/home...

2018-09-06 11:43:37 822

原创 python读取hdfs并返回dataframe

不多说，直接上代码from hdfs import Clientimport pandas as pdHDFSHOST = "http://xxx:50070"FILENAME = "/tmp/preprocess/part-00000" #hdfs文件路径COLUMNNAMES = [xx']def readHDFS():'''读取hdfs文件...

2018-09-03 15:56:24 7594 1

原创 python 读写hive

最近正在做一个项目，需要把算法模型的结果持久化至hive.目前使用的 pyhive，切记在windows上不能使用，我目前在centos6.5上使用，官方说再macos和linux上可用。from pyhive import hiveimport pandas as pd# from sqlalchemy import create_engine# from py...

2018-09-03 14:09:29 14288 2

原创 xgboost安装失败:Files/directories (from PKG-INFO) not found in C:\Users\WANGFA~1\AppData\Local\Temp\pip-

最近使用xgboost算法，但是安装时遇到以下错误：Files/directories (from PKG-INFO) not found in C:\Users\WANGFA~1\AppData\Local\Temp\pip-install-w0adajf1\xgboost\pip-egg-info安装方式： pip install xgboost从报错来看，应该是缺少依赖，所...

2018-08-14 09:58:15 6409 1

原创 cbow和skip-gram实现关键代码解析

源码地址：https://github.com/AlbertBJ/word2vecpy.git这也是我 fork别人的，觉得写得很棒，所以拜读了大神的代码，先对关键点进行说明：主要是针对train_process这个方法中针对负采样计算方法： # Randomize window size, where win is the max win...

2018-08-10 14:17:11 2491

原创 windows下将python模型保存为PMML文件

首先需要搞明白一个问题就是，为什么需要将模型保存为 pmml文件，以及 pmml文件是什么东东。1. 什么是pmml文件 predict model markup language 预测模型标记语言，它以xml格式保存,既然是 xml，那就是可以跨平台了啊。更详细的自行 google.2. 为什么要转换为pmml 我离线训练了一个模型，怎么 ...

2018-07-31 15:13:53 4198

原创常用激活函数求导

知乎：https://zhuanlan.zhihu.com/albertwang微信公众号：AI-Research-Studio 下面是赞赏码

2018-07-27 15:28:01 6976

原创 Kmeans 优化

通过学习李航博士的统计学习方法，知道了kd树用于优化Kmeans算法，不经意间，看到了还有一种优化算法，叫 Ball tree,先将这两种算法的比较列举如下：Kd树：依次对K维坐标轴，以中值切分构造的树，每一个节点都是一个超矩形，在维数小于20时，效率最高。 Balltree：为了克服kd树高维失效而发明的，其构造过程是以质心C和半径R分割样本空间，每一个节点都是一...

2018-06-27 16:13:52 636

原创 keras lstm关键参数说明

keras对lstm的参数说明比较少，如果没有好好研究lstm，则有时会比较困惑，现将容易理解困惑的三个参数说明一下：Units：指的是每一个lstm单元的hidden layer 的神经元数量(就是ng课程里面额a,也就是输入到softmax单元的)return_sequences：True 每一个lstm单元均输出hidden layer;false：只有最后一个lstm单元输出hi...

2018-06-21 10:53:55 10570

原创聚类衡量指标

聚类常用衡量指标有 RI ARI MI NMI AMIRI ：Rand index 兰德指数取值[0,1] 值越大越好，表示聚类结果与真实情况越吻合ARI:adjusted RI：调整兰德系数取值[-1,1]MI： mutual information based scores互信息衡量两个数据分布(聚类)的吻合程度，[0,1]越大越好NMI: No...

2018-06-21 10:45:48 1277