自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(54)
  • 收藏
  • 关注

原创 如何成为顶级开源项目的贡献者(源码篇)

概述对于程序员来讲,成为顶级开源项目的贡献者是一件有意义的事,当然,这也绝非易事。如果你正从事人工智能有关的工作,那么你一定了解诸如Google Tensorflow,Facebook Pytorch这样的开源项目。下面我们就说一说如何成为这些顶级的开源项目的Contributor。准备1,首先你必须成为github的使用者,并已经熟悉了github上托管代码的基本逻辑。2,对于顶级的开源项目,一般需要你去签署一份Contributor License Agreement(简称CLA),例如Ten

2020-06-28 18:44:37 819

原创 【知识图谱工具汇总】

图数据库,图算法,图表示方法

2023-01-12 14:30:13 239

原创 【mkdocs文档加密保护插件】

mkdocs 文档加密 插件

2023-01-10 14:00:53 21

原创 人工智能论文术语集37

注:术语来源请参照《人工智能论文术语集》术语内容a latent knowledge retriever一种潜在的知识召回器 ~ REALM的优化方法attend over处理 ~both explicit and implicit隐性和显性 ~providing qualitative benefits提供了一些定性的有益结论 ~marginalize over边缘化 ~ 和条件概率有关,指保持某一些变量不变,来求解另外变量可.

2022-04-10 16:12:47 858

原创 人工智能论文术语集36

注:术语来源请参照《人工智能论文术语集》术语内容bipartite matching loss双向匹配损失 ~ 目标检测中的一种损失函数succeding tokens后面的token ~ NLP window化方案中常见的描述previous tokens前面的token ~ NLP window化方案中常见的描述motivated促成,激发 ~ 可以理解为完成symmetric对称的 ~drop-in replace.

2022-03-19 15:22:52 808

原创 人工智能论文术语集35

注:术语来源请参照《人工智能论文术语集》术语内容an entity-aware self-attention mechanism一种实体感知的自注意力机制 ~ LUKE模型的优化方式involving reasoning about entities包括关于实体的推理 ~empirical performance实证表现 ~ 指实验效果很好Conventional entity representations传统的实体表达 ~assig.

2022-03-07 23:07:56 647

原创 【安装fasttext error: command ‘gcc‘ failed with exit status 1】

安装fasttext==0.9.2出现安装异常,可能是时因为0.9.2版本本身就是不稳定的,更换成0.9.1即可pip install fasttext==0.9.1

2022-03-01 12:42:34 269

原创 人工智能论文术语34

注:术语来源请参照《人工智能论文术语集》术语内容Reducing engineering effort减少工程化工作 ~incremental fixes增量修正 ~intended to打算做 ~immediately立即地 ~introduce ample opportunities提供非常大的机会 ~ 在论文中,代表一些疏忽导致出错的机会增加pre-training paradigm预训练模式 ~i.

2022-02-28 20:40:41 317

原创 【error: RPC failed; result=35, HTTP code = 0】

git提交时若出现以上问题,可能由于你当前传输的文件过大导致,需要设定缓存:git config --global http.postBuffer 50M

2022-02-28 15:29:33 2128

原创 【ImportError: cannot import name ‘json‘ from ‘itsdangerous‘】

一般是flask版本过低导致:pip install flask==2.0.2

2022-02-23 20:46:19 13775 4

原创 【CondaHTTPError: HTTP 404 NOT FOUND for url <https://conda.anaconda.org/conda-forg/noarch/repodata.】

恢复默认源,再尝试。conda config --remove-key channels

2022-02-23 10:54:55 2226

原创 【CommandNotFoundError: Your shell has not been properly configured to use ‘conda activate‘. If your】

按照给定提示: echo ". /root/anaconda3/etc/profile.d/conda.sh" >> ~/.bashrc

2022-02-21 16:01:15 371

原创 【安装TensorFlow 遇到错误 No such file or directory: ‘c++‘: ‘c++‘】

pip3 install --upgrade pippython3 -m pip install --upgrade setuptoolspip3 install tensorflow==1.14.0

2022-02-21 15:17:44 1524

原创 人工智能论文术语集33

注:术语来源请参照《人工智能论文术语集》术语内容a sharper decoupling更加清晰的解耦 ~ties fine-tuning tasks to a particular tokenization将微调任务与特殊的tokenizer结合起来 ~lossy information bottleneck有损信息瓶颈 ~the zeroth element第0个元素 ~well-defined定义明确的 ~iter.

2022-02-21 00:47:28 355

原创 人工智能论文术语集32

注:术语来源请参照《人工智能论文术语集》术语内容phenomena现象 ~In terms of scientific inquiry在科学研究方面 ~appropriate合适的 ~frequency-derived频率派生 ~ 是根据统计频数来进行选择的方式mitigate缓和 ~intuitions直觉 ~how language ought to behave语言应该如何组织(表现) ~.

2022-02-18 00:23:11 278

原创 人工智能论文术语集31

注:术语来源请参照《人工智能论文术语集》术语内容de-facto standard约定俗成的标准 ~Linguistic pitfalls语言性缺陷 ~attributable to归因于 ~morphology词法 ~safe heuristics安全的启发式方法 ~consonants辅音 ~empirical performance实证检验 ~arbitrarily long spa.

2022-02-15 23:40:54 224

原创 人工智能论文术语集30

注:术语来源请参照《人工智能论文术语集》术语内容inevitably comes不可避免的是 ~superseded被取代 ~commonly-used models常用的模型 ~explicit明确的 ~data-derived派生数据 ~less brittle那么脆弱 ~inductive bias归纳偏置 ~ 机器学习是归纳学习(给出很多样本来总结规律)的一种形式,当使用总结的规律来预测未.

2022-02-12 20:41:09 512

原创 【ImportError: libXext.so.6: cannot open shared object file: No such file or directory】

在Centos系统中,当你使用pip install opencv-python,import cv2时,如果以上错误,请运行:yum install libXext

2022-02-11 09:52:29 1119

原创 人工智能论文术语集29

注:术语来源请参照《人工智能论文术语集》术语内容corrupt the input破坏性输入 ~ 掩码语言模型的方式就是破坏性输入As an alternative作为一种替代方案 ~abbreviations缩写 ~irregular不规则的 ~typographical error印刷错误 ~hashtags散列标签 ~Given the widespread usage of鉴于 ~.

2022-02-02 22:55:46 821

原创 人工智能论文术语集28

注:术语来源请参照《人工智能论文术语集》术语内容Enhanced mask decoder增强的mask解码器 ~ DeBerta的优化方法之一,在decode之前引入绝对位置编码Scale-invariant-Fine-Tuning尺度恒定微调 ~ DeBerta中提及的虚拟对抗训练的数据增强算法small perturbations小的扰动 ~ 一般指数据集中的噪音incorporates包含,引入 ~aggregated cont.

2022-01-25 19:36:41 898

原创 人工智能论文术语集27

注:术语来源请参照《人工智能论文术语集》术语内容mixed attention block混合注意力模块 ~ convBERT的优化方法之一,将原生的attention和基于跨度的动态卷积做cat操作Bottleneck design for self-attention自注意力的瓶颈设计 ~ convBERT的优化方法之一,配合mixed attention block使用,来减小原生bert的头数。Grouped feed-forward module分组.

2022-01-24 20:59:01 2181

原创 人工智能论文术语集26

注:术语来源请参照《人工智能论文术语集》术语内容lower memory consumption降低内存消耗 ~Comprehensive empirical evidence综合经验证据 ~reach an equilibrium point达到一个平衡点 ~oscillating rather than converging震荡而不收敛 ~CROSS-LAYER PARAMETER SHARING交叉层参数共享 ~ ALBE.

2022-01-20 23:59:04 359

原创 人工智能论文术语集25

注:术语来源请参照《人工智能论文术语集》术语内容an associated input image关联的输入图像 ~align elements对齐元素 ~ 这里的对齐是指模态元素的融合,类似与实体对齐中的归类。visually-grounded基于视觉(任务的) ~syntactic relationships句法关系 ~the reasoning capabilities推理能力 ~detailed semantic.

2022-01-18 20:26:42 1963

原创 人工智能论文术语集24

注:术语来源请参照《人工智能论文术语集》术语内容Phoneme Recognition音素识别 ~ 一种NLP任务Span-based Dynamic Convolution基于跨度的动态卷积 ~ 依图科技对BERT中Attention改进方法Predicting Future N-gram预测未来N-gram ~ 就是N-gramDisentangled Attention拆解式注意力 ~ 一种注意力的计算方式multiple has.

2022-01-16 14:59:29 255

原创 模型蒸馏技术实践

7.4 模型蒸馏技术学习目标了解什么是模型蒸馏(model distillation)技术和相关原理。掌握使用Textbrewer进行模型蒸馏。什么是模型蒸馏Hinton(AI教父)在NIPS2014提出了知识蒸馏(Knowledge Distillation)的概念,至此开启了该领域的深入研究。我们将模型蒸馏看作是知识蒸馏体系的重要分支。它的目的是:进行模型压缩,就和模型量化和剪枝一样。它实现的方式是将预压缩模型定义为teacher model,这个teacher model在蒸

2021-12-12 13:22:09 4153 6

原创 GPU并行实践

学习目标了解模型并行与数据并行的区别.了解分布式训练与并行训练的关系.掌握在单机多GPU上进行模型并行训练的解决方案.相关知识并行/分布训练及其两者的关系:* 在机器学习领域(深度学习),并行/分布方式一般主要应用在模型的训练阶段以加速模型的训练效率。因此,利用计算机系统的多线程或多进程来提升模型训练效率的方式都可以称作并行训练。其中,利用多进程训练的方式又可以叫做并行分布式训练,简称分布式训练(因为单台计算机多进程间的通信等同于多>台计算机间的通信)。由此可见,分布式训练是并行

2021-12-12 13:09:39 194

原创 模型优化启示录

模型优化的三大方向模型离线指标优化模型训练性能优化模型预测性能优化模型离线指标优化这里的模型离线指标,是指离线评定模型优劣的指标,如常用的ACC,AUC,F1,precision,recall,mAP等等。为了能够提升这些指标,我们往往从以下几个方面考虑:训练数据模型结构损失函数可解释性(可以参考tensorflow的积分梯度)知识融合(比如来一个图谱,图谱就要利用图特征来丰富模型的输入,看图算法与实现)优化器修改(思考如何更好的调整学习率,和冷启动时如.

2021-12-04 22:05:39 247

原创 GLUE标准数据集

GLUE数据集合的介绍GLUE由纽约大学, 华盛顿大学, Google联合推出, 涵盖不同NLP任务类型, 截止至2020年1月其中包括11个子任务数据集, 成为衡量NLP研究发展的衡量标准.GLUE数据集合包含以下数据集CoLA 数据集SST-2 数据集MRPC 数据集STS-B 数据集QQP 数据集MNLI 数据集SNLI 数据集QNLI 数据集RTE 数据集WNLI 数据集diagnostics数据集(官方未完善)GLUE数据集合的下载方式:下载脚本代

2021-12-01 22:17:35 1256

原创 人工智能论文术语集23

注:术语来源请参照《人工智能论文术语集》术语内容cascading errors级联损失 ~ 任何级联模型的设计方案都有可能因为两个模型没有统一的优化目标而产生损失。attention pattern注意力计算模式 ~ longformer中的重要概念,指attention快速计算的方法。contemporaneous works同时期的工作 ~ 指与当前论文同时期的一些论文情况。To accommodate this为了适应这个 ~ 是指适.

2021-11-23 20:28:59 1793

原创 人工智能论文术语集22

注:术语来源请参照《人工智能论文术语集》术语内容a reasonable computational budget合理的算力预算 ~ 当前的大模型在进行预训练时,都需要合理的算力评估。sufficient充足的 ~ 做好充足的准备。inverse square root平方根倒数 ~ 1/ 开根号(n,k)。a constant learning rate固定的学习率 ~ SGD就是固定的学习率,但在大多数预训练模型都会选择自适应的学习率。.

2021-11-09 19:24:40 387

原创 AI经典开放数据集概览

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3nuGOSyM-1636447704861)(http://www.tisv.cn/img/datasets.png)以下每个数据站点均已根据知识共享署名4.0国际许可协议获得许可。每个人都可以访问,并根据规则下载使用丰富的数据资源。精选数据网站1. VisualDataVisualData 被称为最好的CV数据集合网站, 在这里你将发现丰富的可用数据资源,助力你的CV学习之旅。[进入网站](https://ww

2021-11-09 19:24:23 716

原创 人工智能论文术语集21

注:术语来源请参照《人工智能论文术语集》术语内容is amenable to进而 ~ 模型需要先预训练进而能够更好的学习下游任务。be loosely viewed as被宽泛的视为 ~ 形容一种比较直观的理论,比如模型能够进行合理的生成就代表具有理解文本的能力。an auxiliary task辅助型任务 ~ 比如word2vec,往往是为了完成具体任务而做的必要步骤。provide a comprehensive perspective提.

2021-11-05 19:24:14 378

原创 人工智能论文术语集20

注:术语来源请参照《人工智能论文术语集》术语内容Generalized广义的 ~ XLNET就是广义的自回归预训练模型。denoising autoencoding去噪自编码 ~ 之前有提过,是一种大的模型划分类型,BERT就是。corrupting the input破坏了输入 ~ XLNET认为mask破坏了输入。conventional传统的 ~ 用在指代传统的模型上。Intuitive凭直觉的 ~ 一些理论推断。.

2021-10-28 19:18:13 54

原创 人工智能论文术语集19

注:术语来源请参照《人工智能论文术语集》术语内容auxiliary辅助的 ~ 一般指辅助性的任务,Roberta里认为BERT的NSP任务就是辅助性任务。amenable to服从,满足 ~ 服从…分布,满足…规律。crucial至关重要的 ~ 暗指某种模型trick对指标改善非常重要,比如Roberta中的动态mask比bert的静态mask效果更好。the peak learning rate峰值学习率 ~ 指在训练过程中,指定了学习率的.

2021-10-25 22:24:37 87

原创 人工智能论文术语集18

注:术语来源请参照《人工智能论文术语集》术语内容focus on the broader picture关注更广阔的蓝图 ~ 这是AutoNLP的广告语,意思是算法工程师可以不再关注训练细节,比如,选模型,调参数等,而是关注老板想什么。present a replication study进行复制研究 ~ 什么叫复制研究呢,比如我发了一个BERT,很厉害,然后你开始复制研究,虽然BERT很厉害,但是也存在缺陷,因该叫递进研究。exceed the performan.

2021-10-22 22:38:39 65

原创 人工智能论文术语集17

注:术语来源请参照《人工智能论文术语集》术语内容procedurally-generated程序自动生成的 ~ 有点像自己造的连接词,在论文里形容一些增强数据。comprehensive综合性的 ~ 形容工具的功能很多,可以理解成“多功能”。unpresedented没有见过的 ~ 本意是“空前的”,在AI论文里一般形容之前没有见的数据,一般测试集的数据就是模型寻训练时没有见过的。the dense vision tasks稠密视觉任务 ~ .

2021-10-18 20:30:26 80

原创 人工智能论文术语集16

注:术语来源请参照《人工智能论文术语集》术语内容real-world latency生产环境下的响应延迟需求 ~ 随着大型模型在生产中的应用,架构设计上也开始考虑如何更好的融合硬件,提升响应延迟。consecutive连续的 ~ 一般指神经网络层之间的连续性。sliding window滑动窗口 ~ 和之前的shifted windows有什么区别,简单说一点,sliding滑动过程中一般窗口大小不变,shifted是根据一定规律变化的。*** fa.

2021-10-15 20:59:07 147

原创 人工智能论文术语集15

注:术语来源请参照《人工智能论文术语集》术语内容the evolution of network architectures网络架构的演进 ~ evolution,演进,进化。a fixed scale固定比例(尺度) ~ 描述特征选取时的常规尺度,文本就是以token为尺度。vary substantially in scale尺度差异很大 ~ 一当选择词,句子,篇章作为文本分析尺度时,差异就很大。intractable难点 ~ 本意顽固.

2021-10-14 20:14:48 66

原创 人工智能论文术语集14

注:术语来源请参照《人工智能论文术语集》术语内容shifted windows移动窗口 ~ Swin Transformer重要的技术点。hierarchical Transformer层次Transformer ~ Swin Transformer重要的技术点,先别管啥意思,你把单词先读明白。general-purpose通用目的 ~ 一般指架构本身适用范围比较广。arise from differences引发的差异化 ~ 一般指不同领域.

2021-10-13 19:13:47 67

原创 人工智能论文术语集13

注:术语来源请参照《人工智能论文术语集》术语内容remains notable依然显著 ~ 可以用来形容实验效果。To illustrate this argument为了证明这个论点 ~ 接下来就要进行一系列推理证明了。simultaneous machine translation同步机器翻译系统 ~ 就是在线翻译机,暗指模型需要在线上运行。along with依据 ~ 一般是“依据”之前的某一篇论文/观点。generalizati.

2021-10-12 19:40:26 49

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除