谢彦的技术博客

论文地址：https://arxiv.org/pdf/1702.08835.pdf相关代码：https://github.com/kingfengji/gcForest深度森林是南大周志华老师前两年提出的一种基于随机森林的深度学习模型。当前的深度学习模型大多基于深度学习神经网络（DNN），其中每一层都是可微的，在训练过程中通过反向传播调参。而本篇介绍的深度森林算法基于不可微的子模型，该算法把多个随机森林串联起来组成了深度学习模型。作者认为深度模型的优越性主要在于：深度网络多层建构；模型特征变换

结巴分词如果搜索”Python 分词”，跳出来的前五个除了广告基本都包括“结巴分词”（Jieba）。可以说它是Python自然语言中使用最广泛的分词工具。它属于基于概率的模型，其原理主要是利用了显性的中文词库（包含常用词及词性和频率）。形如：同时也支持隐马尔可夫模型从数据中训练出的发射概率，转移概率等不易理解的数据。简单地说，分词就是识别句中的词组，然后把句子拆分成尽量大的块。但由于上下文语境不同，拆分时也常常出现规则冲突，比如“研究生命的起源”，既可拆成“研究生 命 的 起源”，也可拆

1. 配置git参数$ git config --global http.postBuffer 524288000 # 加大缓存$ git config --global core.compression -1 # 设置默认压缩方法$ export GIT_TRACE_PACKET=1 # 打开调示信息$ export GIT_TRACE=1$ export GIT_CURL_VERBOSE=1$ git config --global http.lowSpeedLimit 0 # 设置最低

论文名称：《TabNet: Attentive Interpretable Tabular Learning》论文地址：https://arxiv.org/abs/1908.07442相关代码：https://github.com/dreamquark-ai/tabnet Pytorch版本（目前star:778）《TabNet: Attentive Interpretable Tabular Learning》是google 2019年底的一篇论文，目前已更新到v5版本。其目标是使用深度学习注意力

做模型时常常是特征越多模型准确率越高（至少在训练集上）。但过多的特征又增加了数据收集、处理、存储的工作量，以及模型的复杂度。在保证模型质量的前提下，我们希望尽量少地使用特征，这样也间接地加强了模型的可解释性。一般来说，为避免过拟合，特征尽量控制在实例个数的1/20以下，比如有3000个实例，则特征最好控制在150以下。除了特征的具体个数，特征工程中也经常遇到某些特征严重缺失，特征相关性强，一些特征不但无法给模型带来贡献，反而带来噪声等问题。本篇介绍特征筛选工具feature-selector，在

论文名称：《Bidirectional LSTM-CRF Models for Sequence Tagging》论文地址：https://arxiv.org/pdf/1508.01991v1.pdf相关代码：https://github.com/BrikerMan/Kashgari（Keras）《Bidirectional LSTM-CRF Models for Sequence Tagging》是Baidu Research在2015年发表的一篇论文，它使用双向长短期记忆网络LSTM加条件随机场

结构设计 从听者角度考虑问题 事先了解听者，根据听者认知确定是否介绍项目背景，背景知识；是否使用术语，使用听者不了解的术语时做好解释（使用举例和类比方法）；先讲功能再讲细节。 流程 介绍背景->如何实现->实现效果->讨论问题->总结。 PPT界面原则 遵循简捷、专业的原则。 用户接受度 文字＜表格＜图形＜图片＜动图＜视频，尽量少用文字，多用图片，表格。 显示清晰 根据演示时的设备：笔记本、视频会议（手机）、显示器、电视、听众人数，确定文字大小版

使用nvidia-smi提示：NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.自动重装驱动：sudo ubuntu-drivers autoinstall

上周更新了nv的驱动到450，然后发现nvidia-docker无法启动了，报错：docker: Error response from daemon: OCI runtime create failed: container_linux.go:349: starting container process caused "process_linux.go:449: container init caused \"process_linux.go:432: running prestart hook

机器学习涉及数据分析、清洗、建模、评价、对比模型……无论是初学者，还是有经验的开发者在面对新的项目时，都想要简化这些工作，最好能用简单的代码、较短时间，就能得出初步验证结果，之后再进一步优化。希望能用一个简单的数据文件，几行通用的Python语句，就能实现分析、建模和部署。PyCaret就是这样的工具：虽然没有太多创新算法，但极大地简化了工作流程。这也让机器学习的门槛越来越低。PyCaret是Python开发的机器学习库，它封装了Sklearn，XGBoost，LightGBM，Spacy，Shap

Lucene是用于全文检索的开源库，Apache软件基金会提供支持。它由Java语言开发，也提供Python接口调用。本文介绍使用开源项目Lupyne构建垂直搜索引擎，搜索本地网页中的内容。它使用Python语言编写，搜索功能用Lucene引擎实现，使用html2text从本地网页中提取数据，实现对网页中文本的搜索，前端调用CherryPy框架（flask的web server常用作开发测试。而cherrypy的web server常用于生产环境），提供网页搜索功能。运行文中实例需要匹配Java，P

论文：《A Survey of Methods for Explaining Black Box Models》论文地址：https://arxiv.org/abs/1802.01933v3(本文为论文核心内容提炼，并非逐段翻译)《A Survey of Methods for Explaining Black Box Models》是2018年发表在ACM Computing Surveys上的一篇综述性论文，正文37页，介绍了七十多种模型解释相关论文，参数文献144篇。它列出了每种方法的相关论文

什么是SCI美国《科学引文索引》（Science Citation Index, 简称 SCI ）是由美国科学信息研究所1961 年创办出版的引文数据库。相对于EI工程索引，SCI要求论文更规范，系统，完整，创新性更高。论文分区SCI有两个分区规则：JCR分区和中科院分区。 JCR分区根据某一学科的所有期刊都按照上一年的影响因子降序排列，然后平均4等分(各25%)，分别是Q1，Q2，Q3，Q4。 中科院分区按各类期刊三年平均影响因子排序，前5%为一区（国际顶级期刊），前20%为二区，前50%为三

论文题目：《Why Should I Trust You? Explaining the Predictions of Any Classifier》论文地址：https://chu-data-lab.github.io/CS8803Fall2018/CS8803-Fall2018-DML-Papers/lime.pdf模型可解释性论文列表：https://github.com/oneTaken/awesome_deep_learning_interpretability《Why Should I

有时候使用 Notebook 编写较长代码，或者有很多Cell，定位某一段代码时需要不断拖动，非常麻烦，使用 Notebook 插件提供的导航功能可以很好地解决这一问题。首先，安装插件：$ pip install jupyter_nbextensions_configurator jupyter_contrib_nbextensions$ jupyter contrib nbextension install --user$ jupyter nbextensions_configurator

终端报错：locale: Cannot set LC_CTYPE to default locale: No such file or directorylocale: Cannot set LC_MESSAGES to default locale: No such file or directorylocale: Cannot set LC_ALL to default locale: No such file or directoryJupyter notebook报错：Unic

在我第二次安装ubuntu 18.04时，出现grub提示符，系统无法正常启动。使用以下方法恢复：首先，输入ls指令, 查看当前状态，以及系统安装在哪个分区：lsls (hd0)/假设ubuntu系统安装在第五个分区上，用以下命令启动系统。set root=(hd0,5)set prefix=(hd0,5)/boot/grubinsmod normalnormal系统正常启动后，安装boot-repair工具：sudo susudo add-apt-rep

在很长一段时间里，大家都对深度学习模型有所误解，认为模型需要非常大量的数据训练，且只能过训练过的模式起作用——用猫的数据训练就只能识别猫，只有在训练数据中多次出现的模式才能被模型学习和应用，稍有变化，模型就无法正常工作。实际上随着深度学习模型的发展，这些问题都在逐步改善。现在很多模型学习的不仅是解决具体的问题，比如识别图中的猫或者狗，还可以通过训练学习数据间的关系，在更抽象的层面学习，从而实现了举一反三。另外，随着迁移学习的流行，将海量数据中学到的知识用于只包括少量数据的新场景之中也变成了一种趋势。

网上的文章总把Attention注意力机制和Transformer模型结合来讲，看起来非常复杂。实际上Attention不仅作用于自然语言处理领域，目前已是很通用的技术。本篇来看看Attention的原理，以及在各个领域的典型应用。原理越来越多的模型用到注意力机制，它已成为与全连接，卷积，循环网络同等重要的技术。简单地说，当人观察图片时，一般先扫一眼，确定大概信息，然后聚焦在图中的重要区域，这个区域可能是某个物体，某种显著的特点，或者人脸等等。机器视觉，自然语言模型，跨模态模型都越来越多地使

在自然语言处理中常常使用词嵌入。先来看看词嵌入是什么，以及为什么使用词嵌入。为什么要使用词嵌入以中文为例，词库中至少包括几千个字，几万个词，将其代入模型时，如果使用onehot编码，则变量有成千上万个维度，参数数量和计算量都非常庞大；且无法计算词间的近似性，无法使用“类比”方法将学到的规则泛化到近义词上，也不利于进一步的迁移学习。词嵌入可将词的特征映射到较低的维度，比如用200维特征描述词库中所有的词，使用模型参数更少，训练更快。词嵌入可视为给每个组一个n维的编码，能某一维度可能描述词性，另

深度学习成为主流是近十年的事，且涉及的知识很多，即使是资深工程师也很难在短时间内学会。学习过程中也有很多弯路，从复习大学数学开始，学习算法原理，工具和框架，看论文，参考别人写的代码，参加大数据比赛。能坚持把以上步骤认真做完已经很难得，但似乎仍然很难建立对深度学习的“直觉”，很难把这些知识融合到自己的架构和代码里，实际应用中看着都眼熟，细看全是盲点，修改结构的时候一改就错，最终成长为“调包侠”。识字+读书≠会写作文，在原理、语法和代码之间似乎有一道沟；从论文、比赛、技术博客之中学到的又往往是琐碎的点，很难

我们从初中就开始学习指数和对数，但即使是程序员平时也很少用到这些方法。本篇就来看看如何使用它们解决具体问题。指数在多分类问题中，一般在最后一步使用Softmax，将数值转换成属于各个类别的概率，比如根据输入物品图片，通过一系列处理，判别它是衣服、鞋子、帽子各类别的概率。具体公式如下：其中i为某一类别，j用于遍历所有可能的类别，Si计算的是某一类别的概率，即某一类别在所有类别中的占比。其中用到了自然指数e。e的图型如下：首先，e指数是单调上升的，也就是说x越大y越大，变换之后的大小关系

RNN网络RNN模型计算分为两步，第一步，计算第ｔ个时间步的隐藏层ａ；第二步，计算t步的预测值ｙ。其中Wax和Waa两组参数分别与前一层的激活a和当前数据x结合，也可将其合二为一，并与x和a的连接计算。在RNN网络中最常用激活函数是tanh，有时也用ReLU，一般只在最后一层使用sigmoid或softmax。LSTM网络相对于基础的RNN，LSTM增加了c（Cell）状态单元，可将其看做在计算激活a的过程中保存的当前状态。它与a都在工作过程中一直向下一步传递。公式中的Γ

风格迁移应用非常有趣，通过风格迁移也可以看到深层网络如何在不同层次提取特征。可以看到，不只是颜色发生了变化，边缘，色块，对比度，甚至是笔触­都转换成了明显的绘画效果．《吴恩达深度学习》第四课第四周练习是一段风格迁移程序填空，编程语言为Keras，做完后感觉理解了细节的具体实现，但整体搭建框架和数据流向还比较糊涂。于是使用Pytorch又实现了一遍。下面列出此过程中的一些收获。l 如何使用预训练模型生成图片 例程中涉及三张图片，一张提供内容Ｃ，一张提供风格Ｇ，目标是生成新图片Ｎ，新图片可以

卷积网络是近年来非常流行的网络结构，常用于处理图像（2维卷积）和自然语言（1维卷积）。在不明觉厉的情况下使用卷积层，往往使用别人设计的结构，凑参数往模型里塞，同复杂的原理书中的内容又有点对不上号。本篇从应用场景，具体用法入手，深入到每一个重要参数：具体用途、用法及计算方法。为什么使用卷积网络先来看看全连接网络的参数：网络有三个输入x1,x2,x3和两个输出y1,y2，具体计算方法是：如果y1与x3没有什么关系，通过训练两者之间的参数w31可能趋近于0，但该连接仍然存在。对于输入为3输

《吴恩达深度学习课程》第四课第二周的作业是：使用Keras和Tensorflow编写ResNet50，用程序实现题目中描述的网络结构。由于程序填空提供了不少示例，做完后仍感觉理解不透彻，又使用Pytorch实现了一遍。ResNet50包含49个卷积层和1个全连接层，属于较大型的网络，实现起来略有难度。对于理解数据流、卷积层、残差、瓶颈层，以及对大型网络的编写和调试都有很大帮助。使用的数据仍是第四课第二周中的手势图片识别，题目说明、Keras例程和相关数据可从以下网址下载：https://blog.c

推荐的基础镜像列表https://tianchi.aliyun.com/forum/postDetail?postId=67720TensorFlow的GPU镜像$ docker pull registry.cn-shanghai.aliyuncs.com/tcc-public/tensorflow:latest-cuda10.0-py3$ nvidia-docker run --shm-size 8G --rm -v /exports:/exports -it registry.cn-sh

BatchSize是非常重要的超参数，它不仅影响训练速度，也影响模型精度。本篇来讨论如何选择BatchSize。BatchSize是否越大越好？BatchSize一般指同时代入训练模型的实例个数，最直接的经验是如果GPU显存不大，又设置较大的BatchSize时直接报错“cuda runtime error(2): out of memory”。是不是只要机器性能允许，就要设置尽可能大的Batch size呢？同时训练多个实例比逐个代入单个实例训练速度又能提高多少？下图为使用不同的batch

为什么使用归一化如果输入有多个feature，且它们的数值范围有很大差异，这样训练时学习率就不能设置得太大，以免大幅调参引发越界。反之，如果各个feature有相同的均值和方差，则可使用更高的学习率，使收敛更快。归一化解决了梯度爆炸和梯度消失的问题，使构建更深层的网络成为可能，还避免了梯度爆炸和梯度消失。使用模型时需要保证训练数据和测试数据同分布。在机器学习中往往对输入数据进行归一化处理，在深度学习中则常对网络的每一层都做归一化处理，以保证每次处理的数据分布一致。这也使得层与层之间更加独立，依赖更小

重要的超参数深度学习网络有很多超参数，下面列出了一些比较重要，常常需要调节的超参数。最重要 学习率 较重要 mini-batch size hidden units 网络层数 动量参数 学习率衰减算力不同的调参算力不同、网络规模、数据量不同，也有不同的调参方法，当模型和计算量较小时，可以使用网格调参；在算力足够的情况下，使用多组参数并行训练模型；反之，如果算力不足，且模型和数据较大，可能需要手动调参，比如训练几天之后，手动下调学习率，动量等超参数，人为地逐渐推进训练过程。网格

欠拟合和过拟合欠拟合是指在训练集和测试集（或验证集）上模型效果都不好，一般由于模型能力不足导致；过拟合是指模型在训练集上表现好，而在测试集上表现不好，一般由于模型过度拟合了训练集中的噪声导致。本文主要讨论解决过拟合问题的方法。L2正则化无论机器学习还是深度学习，L2正则化项都用于限制参数W过大，它被累加在代价函数之中。代价函数Ｊ除了计算每个实例的误差Ｌ，还加入网络中每层参数Ｗ的2范数的平方，并用λ作为参数，当λ较大时，就需要Ｗ接近０，才能得到较小的代价函数，这样一些无关紧要的参数就变成了

为什么使用激活函数如果没有激活函数，神经网络就变成了线性模型，输出是输入的线性组合，使用一层与使用多层没有区别。如下式所示，输入为x，经过线性层计算出a1，将a1输入下个线性层得到a2，展开后可以看出，最终得到的仍然是wx+b的线性组合，只是参数值不同。图片.png另外，线性层无法解决非线性问题，如在预测房价问题中，如果不使用激活函数，则房价可能计算成负值，这也与实际不符。理论上，加了激活函数后，模型可以逼近任意函数。激活函数又分线性激活函数和非线性激活函数，一般使用的都是非线性激活函数

为什么要给网络参数赋初值既然网络参数通过训练得到，那么其初值是否重要？设置初值不佳是否只影响收敛速度而不影响模型结果？网络参数是否可以设置为全0或者全1？假设网络的参数Ｗ初值都是０，如下图所示，无论输入任何Ｘ，第一层的输出Ａ将都为０，再向前传递到y也是0，使用误差函数调参时，每一层的梯度只与该层的输入和输出有关，由于a1,a2值相等，计算出的梯度调整的值，以及调整后的梯度也相等；第二次迭代也同理，由于a1,a2相等，w[2]中各单元的值也相等。因此该层有100个单元与1个单元没有差异，该问题被称为“

梯度迭代类算法已成为目前各种领域的主流算法。各种现实中的问题分解抽象成机器可以处理的形式之后，基本都可归类为图像、自然语言处理、决策、时序、强化学习这几种类型，而当今解决这些问题的顶尖算法中，梯度迭代（梯度上升或梯度下降）都占据主流地位，比如决策类问题的比赛中，梯度下降决策树GBDT类算法是完全的主流，使用深度学习网络处理图片自然语言问题更毋庸置疑。那么，梯度迭代算法究竟是什么？简单地说，就是代入数据，预测结果，如果结果偏大就调小参数，结果偏小就调大参数。举一个简单的例子，分为三个小问题：问题一

编程语言和自然语言一样，不理解的词越多，对全文的理解就越差。掌握必要的基础知识，让后期看代码更加流畅。机器学习需要掌握数据处理工具Pandas、Numpy，同理，深度学习也需要掌握相应的工具，在Pytorch中数据存储在Tensor之中，本篇将介绍它们的基本用法以及与之相关的常用函数。查看版本信息包含头文件1. import torch 1．查看torch版本1. print(torch.__version__) 2．查看CUDA版本1. print(to

介绍深度学习一般依赖比较复杂的环境，每个项目需要的底层库各有不同，有时在github中下载的代码只能运行在版本较低的的工具链之上。想在一台机器上建立适合所有项目的环境非常困难，大多数情况下使用docker维护不同项目针对的不同环境。CUDA是NVIDIA推出的运算平台，一般通过它调用GPU，CUDA的主要版本有7.x, 8.x,9.x,10.x，目前最常用的是9和10，它们对接的上层软件版本也各不相同。如：torch 1.1.0/1.1.0 + torchvision 0.2.* + CUDA

说明很多基于Pytorch的工具集都非常好用，比如处理自然语言的torchtext，处理音频的torchaudio，以及处理图像视频的torchvision。torchvision包含一些常用的数据集、模型、转换函数等等。当前版本0.5.0包括图片分类、语义切分、目标识别、实例分割、关键点检测、视频分类等工具，它将mask-rcnn功能也都包含在内了。mask-rcnn的Pytorch版本最高支持torchvision 0.2.*，0.3.0之后mask-rcnn就包含到tensorvision之中

1. torch.no_grad(1) 用法with torch.no_grad(): 具体操作(2) 说明上例的“具体操作”中均不更新梯度，这样可以节约计算时间和内存。一般用于验证或者测试阶段。2. param.requires_grad(1) 用法p.requires_grad=False(2) 说明一般用于将某一层设置为不自动更新梯度，以避免训练模型时对该层调参。3. model.eval(1) 用法model.eval()具体操作(2

下例使用torchvision库提取了resnet最后一层的卷积特征；resnet各block的卷积特性，以及金字塔特性。具体取哪一层特征视使用场景而定，resnet各block的输出包含更丰富的特征；从resnet最后一层提取的特征更为抽象；fpn每层通道数相等，含义也类似，可以在多层之间比较。import osimport torchvision.models.detection.backbone_utils as backbone_utilsimport torchvisionimpo

Recall&Precision 引用一个知乎上的例子：某池塘有1400条鲤鱼，300只虾，300只鳖。现在以捕鲤鱼为目的。撒一大网，逮着了700条鲤鱼，200只虾，100只鳖。那么，这些指标分别如下：正确率 Precision = 700 / (700 + 200 + 100) = 70% 召回率 Recall = 700 / 1400 = 50% （出处：https://www.zhihu.com/question/19645541/answer/39732647） IoU：预...

在深度学习和其它一些循环迭代算法中，学习率都非常重要。在效率上，它几乎是与算力同等重要的因素；在效果上，它也决定着模型的准确率。如果设置太小，则收敛缓慢，也有可能收敛到局部最优解；设置太大又导致上下摆动，甚至无法收敛。设定学习率下面总结了设置学习率的一些方法： 理论上，如果将学习率调大10倍，现在10次训练就可以达成之前100次的训练效果。 一般使用工具默认的学习率，如果收...

上一讲学习了编写网页代码的方法，到目前为止，创建的网页文件只能用浏览器打开。如果需要用同一网络中的其它电脑或者手机访问该页面，则需要搭建HTTP服务。普通电脑上也可以搭建HTTP服务，成为小型的HTTP服务器，使用Python搭建HTTP服务非常简单，不需要额外安装软件，只要安装Python的三方模块Flask即可实现。使用Python开发网站，只需要加入少量代码，就可以将Python的工...

用途有时候需要从图片（或文本）中提取出数值型特征，供各种模型使用。深度学习模型不仅可以用于分类回归，还能用于提取特征。通常使用训练好的模型，输入图片，输出为提取到的特征向量。加入特征之后，结果往往不尽如人意，大致有以下原因： 深度学习模型一般有N层结构，不能确定求取哪一层输出更合适。 深度学习模型很抽象——几十层的卷积、池化、信息被分散在网络参数之中。提取自然语言的特征时，常常提取...

1. 加载数据import osimport torch.utils.data as dataimport torchimport torch.optim as optimimport torch.nn as nnfrom torch.optim import lr_schedulerfrom torchvision import datasets, models, transf...

科学文献数据库：http://arxiv.org查找arxiv上论文的工具：http://www.arxiv-sanity.com/, 可查找关键字相关的论文，并按时间远近排序，列表中也显示了introduce。show similar可查找与之类似的论文（内部使用tf/idf方法实现）...

文章写得比较长，先列出大纲，以便读者直取重点。“文本分类对抗攻击”是清华大学和阿里安全2020年2月举办的一场AI比赛，从开榜到比赛结束20天左右，内容是主办方在线提供1000条辱骂样本，参赛者用算法逐条扰动，使线上模型将其判别为非辱骂样本，尽量让扰动较小同时又保留辱骂性质（辱骂性质前期由模型判定，最终由人工判定）。比赛规则线上模型和评测使用的1000条样本不公开，选手根据赛方指定...

Fasttext源于2016年的论文《Bag of Tricks for Efficient Text Classification》，论文地址：https://arxiv.org/pdf/1607.01759.pdf。论文非常短，加上References不过五页，Model architecture只有一页。深度学习神经网络在自然语言处理中表现非常优秀，但动辄几十层，上亿参数的大型网络速度慢...

引入强化学习是与人类的学习最为相似的一种算法，它根据现有的经验和当前的环境做出预判，然后选择下一步的目标和行动。强化学习、有监督学习、无监督学习，有着不同的方法和不同的使用场景。有监督学习适合解决具体而确定的，已知答案的问题，比如分类问题；无监督学习用于从大量数据中发现内在结构；而强化学习既不像有监督学习定义了绝对的对错，也不像无监督学习那样毫无反馈，它通过与环境的互动，环境对行为的反馈来...

BERT有很多改进版本，ALBERT是一个轻量化版本。ALBERT源自2020年的发表论文《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》，论文地址：https://arxiv.org/pdf/1909.11942.pdf。从题目可以看出，论文重点是轻量化BERT模型，以及优化了半监督学习，...

现在人们每天都在使用网络，交通、住宿、购物、外出吃饭大多数都用手机操作，甚至很多人出门都不带钱包。如果家里断网，或者手机断网，那么用微信、看新闻、看视频、网购、手机支付都将无法使用。网络到底是什么?每一台手机、电脑、以及远程的服务又是如何连接？如何传输数据？如何开发自己的网站，需要哪些技术？本讲将一一为读者解答。17.1 互联网早期接入网络的只有计算机，所以称为计算机网络，后来又有手机...

SeqGAN源自2016年的论文《SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient》，论文地址：https://arxiv.org/pdf/1609.05473.pdf。其核心是用生成对抗网络处理离散的序列数据。之前介绍了使用GAN生成图像的方法，由于图像是连续数据，可以使用调整梯度的方法逐步生成图像，而离散数据...

模型攻击主要指人为地制造干扰迷惑模型，使之产生错误的结果。随着深度学习模型的广泛使用，人们发现它很容易被数据的轻微扰动所欺骗，于是开始寻找更加有效的攻击方法，针对攻击又有对抗攻击的方法，二者相互推进，不仅加强了模型的健壮性，有时还能提升模型的准确度。原理想让攻击更加有效，导致模型分类错误，也就是使损失函数的值变大。正常训练模型时，输入x是固定的，标签y也是固定的，通过训练调整分类模型的参数...

向量化是使用一套统一的标准打分，比如填写表格：年龄、性别、性格、学历、经验、资产列表，并逐项打分，分数范围[-1,1]，用一套分值代表一个人，就叫作向量化，虽然不能代表全部，但至少是个量度。因此，可以说，万物皆可向量化。词向量同理，词也可以向量化word2vec（word to vector），可以从词性、感情色彩、程度等等方面量度，用一套分值代表一个词，从而词之间可以替换，比较。词与向量...

运行在计算机上的程序一般分为命令行程序和图形界面程序，例如：安装Python三方模块的pip命令，软件版本管理的git命令等都属于命令行程序；而大多数软件使用图形界面，例如Windows的Word，Excel，画图等等软件都是图形化用户界面，简称GUI。在图形化用户界面中，用户可以用鼠标操作菜单、按钮等图形化组件，并从对话框等图型化组件中获取信息。实现图形化界面的方法与制作游戏界面的流程相似：...

生成对抗网络GAN是一种深度学习模型，它源于2014年发表的论文：《Generative Adversarial Nets》，论文地址：https://arxiv.org/pdf/1406.2661.pdf。GAN的用途非常广泛，比如：有大量的卡通头像，想通过学习自动生成卡通图片，此问题只提供正例，可视为无监督学习问题。不可能通过人工判断大量数据。如何生成图片？如何评价生成的图片好坏？GAN为...

GPT模型GPT全称Generative Pre-Training，出自2018年OpenAi发布的论文《Improving Language Understandingby Generative Pre-Training》，论文地址：https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf。在自然语言处...

引入BERT是谷歌在2018年10月发布的自然语言处理模型，它在十一项自然语言任务中打破记录，在有些任务中有显著提高，并超越了人类水平，被誉为开启了NLP的新时代。虽然，在之后又出现了大量新算法，这两年BERT仍然是各大比赛以及产品中的主流算法。论文地址：https://arxiv.org/pdf/1810.04805.pdf。BERT全称为Bidirectional Encoder Re...

引入2018年底发布的BERT模型和2019年初发布的GPT-2模型，开始挑战人类的语言处理能力。二者都基于之前介绍过的Transformer基础模型。对模型的研究有几个层次：研究基础模型、扩展模型、应用模型 研究基础模型 我们熟知的卷积神经网络CNN，循环神经网络RNN，Transformer模型，残差网络ResNet等等，都是底层模型，它们是神经网络应用的基础。 扩展模...

引入Transformer-XL超长上下文的注意力模型，出自CMU和Google Brain在2019年1月发表的论文：《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》。其中XL是extra long的缩写，意为额外长度。论文地址：https://arxiv.org/pdf/1901.02860....

看到题目是否引发一些刻板印象？国产的自然语言处理，主要是用于处理中文？有没有用到最前沿的技术？是不是只提供服务，里面是黑盒？是否全面开源并提供模型？平台是否通用？本文将为您一一解答。ERNIE是继BERT，ELMo之后又一个以芝麻街人物命名的自然语言模型。ERNIE全称 Enhanced Language Representation with Informative Entities。...

介绍CTRL全称为Conditional Transformer Language有条件的文本生成模型，它始于Salesforce在2019年发布的论文《A Conditional Transformer Language Model for Controllable Generation》，该模型用于定向写作。论文地址如下：https://arxiv.org/pdf/1909.05858.p...

Transformer是Google团队在 2017 年提出的自然语言处理（NLP）框架，也是截至目前，最主流的NLP框架。BERT、GPT-2都是基于该模型的变形和扩展。Transformer的具体算法在论文《Attention Is All You Need》中描述。论文中展示了该模型的训练准确性高于之前所有模型，训练时间明显低于之前的模型，在训练集内容较少时训练效果也很好。它使用8个P1...

自然语言处理是典型的序列问题，其底层算法在最近几年迅速发展，比如去年年底发布的BERT在11项自然语言处理任务中表现卓越，今年GPT-2生成文本（写作）的水平也有了显著提高。目前这些最先进的技术都基于Transformer模型，该模型从RNN，LSTM，Seq2Seq，Attention，ConvS2S，Transformer一步步进化而来，还涉及自然语言处理的相关知识，包含的知识点太多，无法...

RNN循环网络在序列问题处理中得到了广泛的应用。但使用标准版本的RNN模型时，常遇到梯度消失gradient vanishing和梯度爆炸gradient explosion问题。RNN的缺点RNN的梯度消失和梯度爆炸不同于其它网络，全连接网络和卷积网络每一层有不同参数，而RNN 的每个处理单元Cell（处理单个序列元素的操作称为处理单元Cell）共用同一组权重矩阵W。在上一篇介绍RNN网...

RNN是Recurrent Neural Networks的缩写，即循环神经网络，它常用于解决序列问题。RNN有记忆功能，除了当前输入，还把上下文环境作为预测的依据。它常用于语音识别、翻译等场景之中。RNN是序列模型的基础，尽管能够直接调用现成的RNN算法，但后续的复杂网络很多构建在RNN网络的基础之上，如Attention方法需要使用RNN的隐藏层数据。RNN的原理并不复杂，但由于其中包括循...

本篇开始学习搭建真正的神经网络，前一部分讨论深度学习中预处理数据的基本流程；后一部分构建了两种全连接网络，用三种不同方案拟合时序数据；并在例程中详细分析误差函数，优化器，网络调参，以及数据反向求导的过程。数据预处理本篇使用航空乘客数据AirPassengers.csv，其中包括从1949-1960年每月旅客的数量，程序则用于预测未来几年中每月的旅客数量，数据可从以下Git项目中下载。h...

机器学习需要掌握数据处理工具Pandas、Numpy，同理，深度学习也需要掌握相应的数据处理工具，在Pytorch中数据存储在张量Tensor和变量Variable之中，本篇将介绍它们的基本用法以及与之相关的常用函数。掌握必要的基础知识，让后期看代码更加流畅，避免陷入太多细节。Tensor 张量Tensor用于表示矩阵（多维数据），类似Numpy的ndarray，不同的是，可以使用GP...

残差网络效果卷积神经网络CNN的发展历史如图所示：从起初AlexNet的的8层网络，到ResNet的152层网络，层数逐步增加。当网络层数增加到一定程度之后，错误率反而上升，其原因是层数太多梯度下降变得越发困难。而ResNet解决了这一问题。目前ResNet是应用最广的图像相关深度学习网络，图像分类，目标检测，图片分割都使用该网络结构作为基础，另外，一些迁移学习也使用ResNet训...

手机 Honor 6x，界面版本 EMUI 8.0.01. 在设置->系统->关于手机，连续按几次"版本号" (注意: 在学生模式下不能使用)2. 退到上一层，出现“开发人员选项”（与“关于手机”并列）3. 选中“开发者选项”，选中“仅充电模式下允许ADB调式”，选中”USB调试“（注意先后顺序不能变）4. 在Ubuntu 16.04中安装adb工具：sudo a...

想读个英文文档，用讯飞读英文，效果实在是……在应用汇下载安装 Google TTS（华为软件商店里没有），软件被安装到系统中，位置在：设置->智能辅助->无障碍->文字转语言(TTS)输出->Google文字转语音引擎。就可以正常使用了。...

什么是PytorchFacebook的Pytorch和Google 的TensorFlow一样，也是一款深度学习库，TensorFlow主要应用于工业生产领域之中，GitHub上的深度学习工具也多基于TensorFlow；而Pytorch在研究领域被广泛使用，越来越多的论文和新技术都基于Pytorch开发。工业场景比研究领域相对置后，且近年来Pytorch的研究论文有逐渐增加的趋势，随着前...

相关工具安装$ sudo apt-get install stardict-gtk # 图形化工具$ sudo apt-get install sdcv # 命令行工具星际译王字典下载http://download.huzheng.org/解包后安装$ tar xvjf stardict-xdict-ec-gb-2.4.2.tar.bz2 # 注意将bz2文件解压成目录...

写后台监控程序，有时需要响铃或弹框提示用户。下面介绍Python在Linux系统中的提示方法 ：1. 使用系统工具paplay播放当前目录下的音效文件ring.wav实现响铃2. 用tkinter界面工具实现弹框import tkinter as tkimport osdef show_messagebox(string): os.environ["DISPLAY"]=...

介绍之前测试过一些免费API，比如tushare现在只能下载两年半数据，163有的股票数据无法下载，pandas_reader速度很慢，并且只能下载A股的各股数据，对基金和指数支持不佳。这两天尝试了聚宽平台提供的API，它提供的功能基本够用，总结如下。聚宽平台提供自2005年至今的股票相关数据（包含各股数据、指数、基金等等），需要申请一个免费试用帐号，使用期为一年，每天可下载最多100万条...

在线生成词云图WordArt 定制性比较强，支持中文，但是图中的词需要手动输入。https://wordart.com/图悦 支持分析大段文字并生成词云图，但是功能相对比较简单。http://www.picdata.cn/picdata/index.phpPython生成词云图本文介绍使用Python程序生成词云图，它依赖的三方库wordcloud需要编译C++库，在Win...

 昨天听了一个笑话：“有时候越努力越心酸，这么努力都输啦，那是不是智力有问题呀？”成功的时候怎么归因都问题不大，可如果把失败归因成不可改变的智力原因，可能连希望都破灭了。 什么是智力，或者说能力？当知识、习惯、性格、状态全部夹杂在一起时，就没法简单地解释，于是用“天赋”、“命运”来解释人与人之间的差异，而不再深究为什么，同时也错失了改进的机会。基因和环境固然重要，但是能力有没有改进的空间，具体...

 写实用技能类文档和工具书，踩过的一些坑，记录下来，也给需要写文章的朋友们做个参考，写完检查一下，减少编辑的工作量，也省得自己反复修改，减少沟通成本。总结如下：1. 内容 内容实用，有实例，大白话，写出读者痛点。(1) 确定针对读者群体 不存在上下通吃的文章，需要确定主要的读者群体，读者已知的问题不再重复，未知的问题要解释清楚。(2) 单个主题内容不要过多 很少有书把深度学习和...

 本周参观了2019世界机器人大会，A展厅以机械臂为主，B展厅展示机器人，后面的两个展厅是自动驾驶以及高校的实验展示。暑假里很多家长带着孩子看展。机械臂 机械臂是机器人技术落地最早，也最成熟的领域，机械臂的观感和功能大同小异，主要应用于工业领域。近年来机械臂的功能已相对固定，针对自由度和路径研究都以优化为主。这次也看到一些新应用，大多是在机械臂的肢体末端加入新部件，实现更多应用。比如添...

 用手机或者Kindle看PDF文档字实太是太小了，总觉得PDF转TXT是个刚需，却一直没找到PDF转TXT的简单方法，最近有空，不妨自己用Python写一个。 将PDF格式转换成纯文本的TXT，虽然会损失掉一些排版和图片，却可以给文件瘦身，也可将其中的文字用于更多场合。 PDF里一般都包含文字和图片，有些文字以图片形式存储，比如大多数以扫描方式制作的PDF图书都使用这种方式，以此方式存储...

 “人脸识别”是人工智能的一个重要应用，听起来技术含量很高，貌似非常复杂，具体的实现也的确非常复杂，目前的算法一般都基于深度学习神经网络。但如果仅仅是使用识别功能，目前已有封装好的功能模块，并不需要训练模型，甚至不需要了解任何算法原理，只需调用Python的三方模块，几行代码即可实现人脸识别。 face_recognition是目前使用方法最简单，效果也非常好的人脸识别库，它的离线识别率高达9...

Fritzing是一套设计PCB (Printed Circuit Board) 印刷电路板的软件1. Ubuntu系统安装方法$ sudo apt-get install fritzing$ Fritzing # 运行2. 其它平台软件下载地址： http://fritzing.org/download/3. 新建元件 做图过程中难免有图库中没有的元件，需要新...

1. 原理 TF-IDF（term frequency–inverse document frequency）是信息处理和数据挖掘的重要算法，它属于统计类方法。最常见的用法是寻找一篇文章的关键词。 其公式如下： TF（词频）是某个词在这篇文章中出现的频率，频率越高越可能是关键字。它具体的计算方法如上面公式所示：某关键在文章中出现的次数除以该文章中所有词的个数，其中的i是词索引号，j...

 对于训练深度学习，设计神经网络结构是其中技术含高最高的任务，优秀的网络架构往往依赖建构模型的经验，专业领域知识，以及大量的算力试错。实际应用中往往基于类似功能的神经网络微调生成新的网络结构。 Auto-Keras是一个离线使用的开源库，用于构建神经网络结构和搜索超参数，支持RNN，CNN神经网络，它使用了高效神经网络搜索ENAS，利用迁移学习的原理将在前面任务中学到的权值应用于后期的模型中，...

 Auto ML（Auto Machine Learning）自动机器学习是个宽泛的概念，有不只一个软件以此命名，本篇介绍的Auto-ML并非谷歌基于云平台的 AUTOML。本篇介绍的Auto-ML也是一款开源的离线工具，它的优势在于简单快速，且输出信息比较丰富。它默认支持Keras、TensorFlow、XGBoost、LightGBM 、CatBoost和 Sklearn等机器学习模型，整体使...

 当我们做完了特征工程之后，就可以代入模型训练和预测，对于模型的选择及调参，主要根据分析者的经验。在具体使用时，经常遇到同一批数据，同一种模型，不同的分析者得出的结果相差很多。 前面学习了几种常用的机器学习方法原理以及适用场景，对于完全没有经验的开发者，只要有足够时间，尝试足够多的算法和参数组合，理论上也能达到最优的训练结果，同理程序也能实现该功能，并通过算法优化该过程，自动寻找最优的模型解决...

 前面学习了统计描述和统计假设的Python方法，分析数据表时，需要先确定因变量Y，然后对自变量X逐一分析，最后将结果组织成数据表作为输出，还是比较麻烦，使用TableOne工具可以简化这一过程。 TableOne是生成统计表的工具，常用于生成论文中的表格，TableOne底层也基于scipy和statsmodels模块实现，其代码主要实现了根据数据类型调用不同统计工具，以及组织统计结果的功能...

1. 常用的数据分析工具 Stata、SPSS、SAS、R、Python，甚至Excel都可以做数据分析工作。R和Python是程序员的首选，可以通过编写程序实现成整体的数据清洗、分析、挖掘，还可以增加扩展支持，把一套代码应用于类似的数据分析场景中。对于专业人士（如生物、医疗领域）来说，掌握编程语言的学习成本太高，他们更关注通过工具，方便快捷地得到分析结果，SPSS和Stata主要是图形界面的...

 日志文件是记录程序操作及事件的记录文件或记录文件的集合。一般由程序开发人员编写，开发、运维人员共同使用，开发人员可以通过日志调试程序，运维人员通过日志检查程序近期是否正常运行，如果出现异常，则可通过日志快速定位问题。因此，用日志记录程序流程，事件，以及异常时的详细信息非常重要，尤其是对于部署在客户场地的程序。另外，日志有时也用于记录用户操作、程序运行地理位置等跟踪信息，用于后台的用户研究和数据挖...

1. jointplot 两变量图 数据分析中常用做图的方式实现相关性分析，即X轴设置为变量A，Y轴设置为变量B，做散点图，由于散点图中点的叠加显示，往往还需要关注每个变量自身的分布情况，jointplot把描述变量的分布图和变量相关的散点图组合在一起，是相关性分析最常用的工具，图片上还能展示回归曲线，以及相关系数。import statsmodels.api as smimport ...

1. 说明 搭建过Hadoop集群的小伙伴一定知道，如果不用docker，半小时配好Hadoop+Mysql+Hive（后简称Hive）肯定是胡吹，有了Docker镜像，没有说明文档，配好了也不一定会用。本文将介绍如何在半小时内，让Hive在你的Linux系统上运行起来，并且可以通过 Python程序访问其中数据。2. 使用集群 Hadoop需要安装Java虚拟机，创建Hadoop用户...

1. 常用函数库  scipy包中的stats模块和statsmodels包是python常用的数据分析工具，scipy.stats以前有一个models子模块，后来被移除了。这个模块被重写并成为了现在独立的statsmodels包。 scipy的stats包含一些比较基本的工具，比如：t检验，正态性检验，卡方检验之类，statsmodels提供了更为系统的统计模型，包括线性模型，时序分析...

1. 迁移学习 迁移学习（transfer learning）是指将已经学习的知识应用到其它领域，在图像识别问题中，是将训练好的模型通过简单调整来解决新的问题。从图像中提取特征，不一定需要算力强大的GPU，训练上百层的神经网络。 卷积神经网络中卷积层和池化层可以抽取图片的几何特征，比如浅层的卷积用于抽取出一些直线，角点等简单的抽象信息，深层的卷积层用于抽取人脸等复杂的抽象信息，最后的全连接...

1. 说明 本篇使用Mask R-CNN算法，以及十几张从网络上下载的香蕉图片，训练一个模型。用于识别图像中的香蕉，不同于苹果，桔子，香蕉从不同的角度看差异很大，尤其是三五根香蕉放连在一起，或者整把香蕉的形态和单根香蕉差异很大。可以算是一种识别起来相对困难的水平。 下图是用训练好的模型识别出的香蕉图片，可以看到，基本识别正确。 操作步骤可分为：安装工具，标注图片，修改源码，模型训练...

1. 说明 有时候需要从图像中判断某种颜色，或者获取某个颜色区域，此时常用HSV色板判断。因为在HSV的色彩空间中，只需要判断颜色通道即可。本篇介绍HSV色板，及其在python中的转换和使用方法。2. 色板(1) RGB 三个通道，红色Red, 绿色Green, 蓝色Blue，值越大颜色越大，当三个值都大时为白色，三个值都为0时为黑色。(1) HSV 三个通道，HSV(H...

1. 制作marker ARToolKit支持两种标记，一种是黑白图，另一种是普通图。 黑白图使用工具mk_patt制作，它有一些硬性的规定，比如必须是黑白图，正方形，且有边框等等。 普通图更灵活，它可以是我们生活中的图像，比如公交卡，身份证等等，但相对黑白图，不那么容易识别，其原理主要是根据图片上的边缘，识别其中的一些点，把这些点之间的关系保存下来，并在摄像机图片中寻找对应的关系，以实现...

一段HTML代码，目标是显示bootstrap风络的上传按钮（不带路径显示），且点击后无需再点submit按钮，直接发post请求。<!DOCTYPE html><html> <head> <link href="bootstrap.css" rel="stylesheet" media="screen"&g

在使用 SSH 或 Telnet 从一台Linux机器 A 连接到另一台Linux机器 B 时，通常会遇到 B 机上的图形界面无法显示的问题，报错为：    cannot open display:此时只需要在你的 A 机上打开配置文件:    $ sudo vi /etc/ssh/ssh_config    写入    ForwardX11 yes之后重启sshd服务...

1. 说明 无论做什么类型的程序，都难免需要给别人展示一下。Web展示是个很好的方案，做起来省事，效果好，可交互，无需安装，跨平台，等等等等，算是个必备技能，与做PPT比肩。 前一阵用pyecharts做网页统计图，发现自己做的界面实在太丑，同时又想引用一些现成的风格和控件，于是学习了一下Web前端框架，顺带熟悉一下JS。菜鸟入门，记录如下，仅供参考。2. 前端流行框架 先看看几种流行...

1. 说明 之前介绍过用commit的方式生成新的Docker Image，今天介绍用Build方式做image，Build方式需要写一个配置文件，然后利用当前是已存在的image，按照配置文件进行调整生成新的image。 相对来说，commit方法更随意，我们用它将现场保存为image，而build image生成的image更“干净”。2. 基本操作(1) 看当前环境$ ...

下载 git clone 地址 列出当前分支：本地/远程 git branch -a 列出本地分支 git branch 切换分支 git checkout -b 本地名 远程名 形如： $ git checkout -b dev origin/dev...