- 博客(317)
- 资源 (10)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 React脚手架
项目的整体技术架构为: react + webpack + es6 + eslint，使用脚手架开发的项目的特点: 模块化, 组件化, 工程化。第二步，切换到想创项目的目录，使用命令：create-react-app project_name。(2)【子组件】给【父组件】传递数据：通过props传递，要求父提前给子传递一个函数。——某个组件使用：放在其自身的state中。
2023-04-04 12:36:53
2158
1
原创 跨模态检索的持续学习
多模态表示和持续学习是与人类智能密切相关的两个领域。前者考虑了共享表示空间的学习，其中来自不同模态的信息可以进行比较和集成(我们关注语言和视觉表示之间的跨模态检索)。后者研究如何防止在学习新任务时忘记以前学过的任务。虽然人类在这两个方面表现出色，但深度神经网络仍然相当有限。在本文中，我们提出将这两个问题结合到一个连续的跨模态检索设置中，在其中我们研究了新任务引起的灾难性干扰如何影响嵌入空间及其有效检索所需的跨模态对齐。我们提出了一个通用框架，将训练、索引和查询阶段解耦。
2023-04-02 15:46:47
1439
2
原创 一道例题理清ACM模式的多行输入输出(js和Python版)
具体的已经在之前这篇博客里讲的很清楚了：《用Python3在牛客网acm模式刷题怎么输入输出》，本文作为一个实际的例子辅助说明一下。
2023-03-31 21:27:55
716
原创 跨模态检索论文阅读：Cross Modal Retrieval with Querybank Normalisation
利用大规模的训练数据集、神经结构设计的进步和高效的推理，联合嵌入式已经成为解决跨模式检索的主流方法。本文表明，尽管它们很有效，但最先进的联合内嵌技术受到长期存在的 "hubness问题 "的严重影响，在这个问题上，少量的图库内嵌形成了许多查询的最近邻居。从NLP文献中得到启发，本文提出了一个简单而有效的框架，称为Querybank Normal-isation (QB-NORM)，对查询的相似性进行重新规范，以考虑嵌入空间中的hubs。
2023-03-28 11:27:08
715
3
原创 跨模态检索论文阅读：IMRAM
本文为了解决这一缺陷，提出了一种基于循环注意记忆网络的迭代匹配与循环注意记忆(IMRAM)方法，以渐进的方式探索图像和文本之间的细粒度对应关系，具有两个特点:(1)具有跨模态注意单元的迭代匹配方案，以对齐来自不同模态的片段，(2)记忆蒸馏单元用于将对齐知识从早期步骤细化到后续步骤。在Flickr8K、Flickr30K和MS COCO三个基准数据集以及一个用于实际商业广告场景的新数据集(即KW AI-AD)达到SOTA。
2023-03-23 13:47:30
499
3
原创 论文阅读：Adversarial Cross-Modal Retrieval对抗式跨模式检索
对抗性跨模态检索（ACMR）方法，它在对抗性学习的基础上寻求有效的共同子空间。对抗性学习是作为两个过程的相互作用来实现的。第一个过程，一个特征映射器，试图在公共子空间中生成一个模态不变的表示，并混淆另一个过程，即模态分类器，它试图根据生成的表示来区分不同的模态。我们进一步对特征映射器施加三重约束，以使具有相同语义标签的不同模态项的表示之间的差距最小化，同时使语义不同的图像和文本之间的距离最大化。
2023-03-09 20:14:53
2048
2
原创 CLIP论文阅读
迁移学习方式就是先在一个较大规模的数据集如ImageNet上预训练，然后在具体的下游任务上再进行微调。这里的预训练是基于有监督训练的，需要大量的数据标注，因此成本较高。近年来，出现了一些基于自监督的方法，这包括基于对比学习的方法如MoCo和SimCLR，和基于图像掩码的方法如MAE和BeiT，自监督方法的好处是不再需要标注。但是无论是有监督还是自监督方法，它们在迁移到下游任务时，还是需要进行有监督微调，而无法实现zero-shot。有监督模型：在新的数据集上需要定义新的分类器来重新训练。
2023-02-26 11:43:52
1021
3
原创 详细介绍React生命周期和diffing算法
在定义组件时，会在特定的生命周期回调函数中，做特定的工作。React使用的是自定义(合成)事件, 而不是使用的原生DOM事件 —— 为了更好的兼容性；React中的事件是通过事件委托方式处理的(委托给组件最外层的元素) ——为了的高效。函数的柯里化：通过函数调用继续返回函数的方式，实现多次接收参数最后统一处理的函数编码形式。1). 简单的说: key是虚拟DOM对象的标识, 在更新显示时key起着极其重要的作用。(2).若虚拟DOM中内容变了, 则生成新的真实DOM，随后替换掉页面中之前的真实DOM。
2023-02-22 23:07:24
372
原创 React组件的用法和理解
state是组件对象最重要的属性, 值是对象(可以包含多个key-value的组合)；组件被称为"状态机", 通过更新组件的state来更新对应的页面显示(重新渲染组件)。React.createRef调用后可以返回一个容器，该容器可以存储被ref所标识的节点,该容器是“专人专用”的。每个组件对象都会有props(properties的简写)属性；通过标签属性从组件外向组件内传递变化的数据；注意: 组件内部不要修改props数据(只读的)。组件内的标签可以定义ref属性来标识自己。1.字符串形式的ref。
2023-02-16 21:15:13
486
原创 React中JSX的用法和理解
使用DOM+diff算法，最大限度地减少与DOM的交互。2.虚拟DOM比较“轻”，真实DOM比较“重”，因为虚拟DOM是React内部在用，无需真实DOM上那么多的属性。(1).若小写字母开头，则将该标签转为html中同名元素，若html中无该标签对应的同名元素，则报错。2.如果A类继承了B类，且A类中写了构造器，那么A类构造器中的super是必须要调用的。1.类中的构造器不是必须要写的，要对实例进行一些初始化的操作，如添加指定属性时才写。3.类中所定义的方法，都放在了类的原型对象上，供实例去使用。
2023-02-12 22:08:31
757
原创 详细介绍Sentence-BERT:使用连体BERT网络的句子嵌入
Sentence-BERT（SBERT）是一个使用连体和三连体BERT网络的修改，能够得出有语义的句子嵌入。这使得BERT能够用于某些目前为止还不适用于BERT的新任务。这些任务包括大规模的语义相似性比较、聚类和通过语义搜索的信息检索。BERT在各种句子分类和句子对回归任务上创造了新的最先进的性能。BERT使用交叉编码器：两个句子被传递给transformer网络并预测目标值。然而由于可能的组合太多，这种设置不适合各种配对回归任务。
2023-01-30 16:24:34
4212
2
原创 详细介绍文本检索基准BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models
本文提出了文本检索任务的基准，使用了来自不同领域和任务复杂性的 18 个现有数据集，并涵盖了用于展示检索和排名性能的各种模型，尤其是在迁移学习环境中。这项工作的主要贡献是为检索系统的零样本评估提出了一个标准化基准。它在各种任务和领域上测试检索系统。以前的（标准化的）基准测试包括一个狭窄的评估设置，无论是关于他们的任务（例如 MultiReQA 只专注于问答）还是关于他们的检索语料库（例如 KILT 只是从维基百科检索）。BEIR 克服了这个缺点，为新的检索方法提供了一个易于使用的评估框架。
2023-01-01 21:21:21
3614
7
原创 详细介绍Deeper Text Understanding for IR with Contextual Neural Language Modeling
神经网络为自动学习复杂的语言模式和查询-文档关系提供了新的可能性。神经IR模型在学习查询文档相关性模式方面取得了可喜的成果，但在理解查询或文档的文本内容方面却鲜有探索。本文研究利用上下文神经语言模型BERT，为IR提供更深入的文本理解。 实验结果表明，BERT的上下文文本表示比传统的单词嵌入更有效。与词包检索模型相比，上下文语言模型可以更好地利用语言结构，为用自然语言编写的查询带来很大的改进。将文本理解能力与搜索知识结合起来，形成一个增强的预训练BERT模型，可以使训练数据有限的相关搜索任务受益。
2022-12-25 13:16:33
1129
6
原创 Transformer Memory as a Differentiable Search Index论文阅读
可区分搜索索引（DSI），这是一种以统一方式学习端到端搜索系统的新范式，为下一代搜索铺平了道路。我们定义了新颖的索引和检索任务，将术语和文档之间的关系完全编码在Transformer模型的参数中。该论文提出了一些表示文件和文档的不同方式，并探索了不同的模型架构和模型训练策略。在Natural Questions数据集上进行的实验表明，无论是在标准的微调设置中，还是在零样本学习设置中，DSI的表现都优于常见的基准，如BM25和双编码器。
2022-12-14 16:30:43
1604
5
原创 详细介绍NLP文本摘要
文本摘要也是文本生成的应用，旨在将文本或文本集合转换为包含关键信息的简短摘要。摘要应该涵盖最重要的信息，同时要连贯无冗余，并在语法上可读。
2022-12-09 17:03:32
5161
1
原创 NLP机器阅读理解
机器阅读理解（Machine Reading Comprehension, MRC）是让机器具有阅读并理解文章的能力。机器阅读理解是自然语言处理的核心任务之一，在很多领域有着广泛的应用， 比如问答系统、搜索引擎、对话系统等。机器阅读理解包含完形填空式、选择式、抽取式 和生成式四种主要类型。
2022-12-08 17:00:30
2293
原创 NLP关系抽取和事件抽取
关系抽取又称实体关系抽取，以实体识别为前提，在实体识别之后，判断给定文本中的任意两个实体是否构成事先定义好的关系，是文本内容理解的重要支撑技术之一，对于问答系统，智能客服和语义搜索等应用都十分重要。当前深度学习方法在关系抽取任务上取得了很好的效果，这是由于深度学习可以自动抽取文本特征。深度学习做关系抽取的方法有很多，诸如基于卷积神经网络的关系抽取和基于预训练模型的关系抽取等。其中基于卷积神经网络的方法是最典型的方法之一。卷积神经网络应用到关系抽取领域中的一个核心算法是PCNN算法。首先通过单词的词嵌入和位置
2022-12-08 08:45:00
4810
原创 NLP命名实体识别
命名实体识别（Named Entity Recognition， **NER**）是指在文本中识别出特殊对象，如人、地点、组织机构等。
2022-12-07 08:45:00
1963
3
原创 详细介绍NLP文本分类
基于统计方法的文本分类是文本分类的主要方法之一。统计方法首先是对原始输入数据进行预处理，一般包括分词、数据清洗和数据统计等，然后人工抽取特征并选择具体的统计模型设计分类算法。根据需要还可能进行特征选择和特征提取，常用的特征选择算法有文档频率、期望交叉熵、互信息等，特征提取转换原始的特征空间生成新的语义空间，能够较好地解决一词多义、一义多词等问题。常用的统计模型包括朴素贝叶斯算法、支持向量机算法等。朴素贝叶斯定理：条件概率：事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作
2022-12-06 16:17:16
2433
原创 NLP词向量技术
词向量（Word Vector）是对词语义或含义的数值向量表示，包括字面意义和隐含意义。 词向量可以捕捉到词的内涵，将这些含义结合起来构成一个稠密的浮点数向量，这个稠密向量支持查询和逻辑推理。
2022-12-06 11:02:05
2368
2
原创 详细介绍ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation
ERNIE 3.0框架，在包括纯文本和知识图谱的4TB语料库上预训练一个知识增强的100亿参数模型。为了处理语言理解和生成的任务，ERNIE 3.0设计了一个统一的预训练框架，整合了自编码网络和自回归网络。我们在来自不同任务范式和领域的各种数据集上构建了广泛的实验，结果表明，与之前最先进的预训练模型相比，ERNIE 3.0是有效的。
2022-12-05 08:00:00
4606
7
原创 详细介绍百度ERNIE 2.0：A Continual Pre-Training Framework for Language Understanding
为了从训练语料中提取词汇、句法和语义信息，我们提出了一个名为**ERNIE 2.0**的持续预训练框架，该框架逐步建立预训练任务，然后通过持续的多任务学习在这些构建的任务上学习预训练模型。基于这个框架，我们构建了几个任务，并训练ERNIE 2.0模型来捕捉训练数据中的词汇、句法和语义方面的信息。
2022-11-24 11:20:33
1401
3
原创 详细介绍百度ERNIE1.0：Enhanced Representation through Knowledge Integration
百度提出的ERNIE模型主要是针对BERT在中文NLP任务中表现不够好提出的改进。对于中文，bert使用的基于字的处理，在mask时掩盖的也仅仅是一个单字。ERNIE的核心点在于在训练的过程中加入了**实体级屏蔽和短语级屏蔽**。还有就是引入了一个对话语言模型（DLM）无监督任务，通过预测Query和Response的关系来完计算损失值。实体级策略屏蔽了通常由多个词组成的实体。短语级策略掩盖了整个短语，该短语由几个词组成，是一个概念单位。
2022-11-21 15:53:48
1754
2
原创 详细介绍BERT模型
BERT通过在所有层中联合调节左右语境，从未标记的文本中预训练深度双向表征。因此，预训练的BERT模型可以通过一个额外的输出层进行微调，以创建最先进的模型，用于更广泛的任务，而无需对特定任务的架构进行大量修改。
2022-11-16 08:00:00
12266
2
原创 位运算及其应用
Python位运算<< 按位左移，左移n位相当于乘以2的n次方>> 按位右移 ，右移n位相当于除以2的n次方& 按位与，二进制位数同且为1结果位为1l 按位或 ，二进制位数或有1结果位为1^ 按位异或 ，二进制位数不同结果位为1~ 按位取反，二进制位0和1结果位互换print(1<<3)#输出8： 1 * 2^3=8n & (n−1)，其运算结果恰为把 n 的二进制位中的最低位的 1变为 0 之后的结果。如：6&(
2022-10-30 14:58:32
690
原创 学习jQuery这一篇就够了
jQuery是对原生JavaScript的封装，是一个轻量级的"写的少，做的多"的 JavaScript 库。封装了JavaScript常用的功能代码，优化了DOM操作、事件处理、动画设计和Ajax交互。它的出现加快了前端人员的开发速度，我们可以很方便的调用和使用它，从而提高开发效率。
2022-10-23 22:46:05
1147
1
原创 万字长文详解ES6，学ES6这一篇就够了
上面代码中，source对象的foo属性的值是一个赋值函数，Object.assign方法将这个属性拷贝给target1对象，结果该属性的值变成了undefined。而箭头函数没有自己的this对象，this始终指向定义时上层作用域中的this，由于箭头函数没有自己的this，所以当然也就不能用call()、apply()、bind()这些方法去改变this的指向。对象的解构赋值用于从一个对象取值，相当于将目标对象自身的所有可遍历的、但尚未被读取的属性，分配到指定的对象上面。
2022-10-17 19:06:32
1907
原创 Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition(用于语音识别的快速而准确的RNN)
我们最近的研究表明，深度长短时记忆（LSTM）循环神经网络（RNNs）作为语音识别的声学模型，其表现优于前馈深度神经网络（DNNs）。最近，我们研究发现，使用这种LSTM RNNs的序列训练的上下文依赖（CD）隐马尔可夫模型（HMM）声学模型的性能可以与用连接主义时间分类（CTC）初始化的序列训练的音素模型相当。在本文中，我们提出了进一步提高LSTM RNN声学模型在大词汇量语音识别中的性能的技术。我们表明，帧堆叠和降低帧率导致了更准确的模型和更快的解码。CD音素建模导致了进一步的改进。
2022-10-11 16:28:30
1447
1
原创 改善深层神经网络：优化算法
动量梯度下降法的一个本质：想象你有一个碗，你拿一个球，微分项给了这个球一个加速度，此时球正向山下滚，球因为加速度越滚越快，而因为β稍小于1，表现出一些摩擦力，所以球不会无限加速下去，所以不像梯度下降法，每一步都独立于之前的步骤，你的球可以向下滚，获得动量，可以从碗向下加速获得动量。但要慢慢减少学习率的话，在初期的时候，学习率还较大，你的学习还是相对较快，但随着变小，你的步伐也会变慢变小，所以最后你的曲线（绿色线）会在最小值附近的一小块区域里摆动，而不是在训练过程中，大幅度在最小值附近摆动。
2022-09-26 11:15:37
938
2
原创 Speech recognition with deep recurrent neural networks(基于深度循环神经网络的语音识别)
循环神经网络（RNN）是一种强大的序列数据模型。端到端的训练方法，如连接主义时间分类，使得训练RNN有可能用于输入-输出排列未知的序列标记问题。这些方法与长短时记忆RNN架构的结合被证明是特别有成效的，在手写识别中提供了最先进的结果。然而，到目前为止，RNN在语音识别中的表现令人失望，深度前馈网络的结果更好。本文研究了深层循环神经网络，它结合了深层网络中已被证明非常有效的多层次表示，以及灵活使用赋予RNN的长范围背景。
2022-09-21 08:00:00
1490
7
原创 深度学习中的偏差、方差、正则化
参数和超参数激活函数随机初始化（Random+Initialization）训练，验证，测试集（Train / Dev / Test sets）偏差&方差通过训练集误差和验证集误差判断算法偏差或方差是否偏高高偏差(欠拟合)&高方差(过拟合)的解决方法正则化L2正则化为什么正则化可以减少过拟合？dropout 正则化（Dropout Regularization）归一化输入梯度消失/梯度爆炸（Vanishing / Exploding gradients）
2022-09-16 08:00:00
1962
4
原创 移动端基础知识
当我们手指离开屏幕的时候，就没有了 touches 和 targetTouches 列表，但是会有 changedTouches。2.封装touch事件：当我们手指触摸屏幕，记录当前触摸时间;当我们手指离开屏幕， 用离开的时间减去触摸的时间;TouchEvent 是一类描述手指在触摸平面的状态变化的事件。这类事件用于描述一个或多个触点，使开发者可以检测触点的移动，触点的增加和减少……：正在触摸当前DOM元素的手指列表，如果侦听的是一个DOM元素，他们两个是一样的；：正在触摸屏幕的所有手指的列表；
2022-09-11 15:22:07
306
1
原创 JavaScript-BOM基础巩固
元素偏移量offsetofferTop和offerLeft以带有定位的父亲为准，如果没有父亲或者父亲没有定位则以body为准；宽度和高度是包含padding、boder和width的。
2022-09-11 15:17:04
196
1
原创 Going Deeper With Convolution(GoogLeNet的理解)
从LeNet-5奠定的卷积神经网络（CNN）基础结构：堆积卷积层(stacked convolutional layers)(可选连接：对比归一化层(contrast normalization)和最大池化层(max-pooling))后面跟着一个或者多个全连接层（fully-connected layers）。这个结构下有很多成功的升级变种，在MNIST、CIFAR、ImageNet取得了很好的结果，比如说2012的AlexNet和2013的ZFNet。
2022-09-10 14:22:19
860
1
原创 Deep Residual Learning for Image Recognition(残差网络ResNet的理解)
普通的Plain Network与深度残差网络的最大区别在于，深度残差网络有很多旁路的支线将输入直接连到后面的层，使得后面的层可以直接学习残差，这些支路就叫做shortcut。残差块分成两部分直接映射部分和残差部分，如果网络已经到达最优，继续加深网络，residual mapping将被push为0，只剩下identity mapping，这样理论上网络一直处于最优状态了，网络的性能也就不会随着深度增加而降低了。ResNet网络是由很多个残差模块堆叠起来的，使得网络足够深的同时解决了退化问题。...
2022-09-01 08:00:00
634
2
原创 逻辑回归中的损失函数和代价函数
一般我们用预测值和实际值的平方差或者它们平方差的一半，但是通常在逻辑回归中我们不这么做，因为当我们在学习逻辑回归参数的时候，会发现我们的优化目标不是凸优化，只能找到多个局部最优值，梯度下降法很可能找不到全局最优值，虽然平方差是一个不错的损失函数，但是我们在逻辑回归模型中会定义另外一个损失函数。如果z非常大那么sigmod函数会接近1，如果z非常小那么sigmod函数会接近0，因此当你实现逻辑回归时，你的工作就是去让机器学习参数w以及b这样才使得y^成为对y=1这一情况的概率的一个很好的估计(...
2022-08-28 11:51:36
536
1
原创 【云原生】Docker高级篇之网络、compose、可视化、监控
默认使用的是桥接网络bridge。如果不自定义的话，两个之间按照IP地址ping是OK的，但是按照服务名ping结果会显示Nameorservicenotknown，要解决这个问题就可以采取自定义网络模式dockernetworkcreatezagiee新建容器加入上一步新建的自定义网络dockerrun-d-p80818080--networkzagiee--nametomcat81billygoo/tomcat8-jdk8dockerrun-d-p80828080--networkzag。...
2022-07-27 00:36:09
1725
15
深度学习三巨头在Nature上共同发表的名为《深度学习》的综述文章
2022-05-20
Pycharm、Anaconda安装文档.pdf
2020-03-29
Python程序设计基础与应用
2020-03-08
机票预订系统（完整项目可运行）
2020-02-29
关于#c++#的问题：C++项目中怎么单独编译一个.cc文件
2022-07-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人