Hekena的博客

原创 刘知远：大模型值得探索的十个研究方向

网络架构：Transformer是终极框架吗？安全可信：如何改善大模型中的安全伦理问题？认知学习：如何使大模型获得高级认知能力？刘知远：大模型值得探索的十个研究方向。高效适配：大模型如何适配到下游任务？可控生成：如何实现大模型的可控生成？基础理论：大模型的基础理论是什么？易用性：如何降低大模型的使用门槛？高效计算：如何使大模型更加高效？创新应用：大模型有哪些创新应用？数据评价：如何评估大模型的性能？

原创 230530-论文整理-课题组2

对这些研究有点兴趣颇微。

原创 20230530论文整理·1-课题组1

个人观点，现在的NLP文章，有些是在做积木，微创新，有些文章，是可以的，读起来很美，有些，太过逆了，吃起来没味道，反胃。

原创 基于关系抽取的相似度计算

知识图谱嵌入：知识图谱嵌入是将知识图谱中的实体和关系转换为数值化的表示，可以看成一个基础任务，学习出的嵌入表示可以用于各种和知识图谱相关的任务。

原创 Big_models的解释

大模型的解释-语言模型（GPT4 解释 GPT2）

原创 model_API 上手即用型

hugging face网站中集成了多款PLM，在我们后期应用这些PLM的过程中，一般是使用transformer库，直接加载存储在huggIng face中的PLM。为了更便于使用models，huggIng face中出版了相关的教程，colab形式，点击即可运行。HuggingGPT，一键控制10万多个AI模型。

原创 汇报方法-2：准备工作

领导更关注于结果，不是过程。讲事实、列方案、输想法、请决策。

原创 汇报方法1-老板的类型

你是怎么想的、怎么做的、怎么解决。关键的节点、关键的技术。

原创 需求-方案-结果

原创 人员管理KPI和OKR

关键绩效指标（Key Performance Indicators，KPI）是指将组织战略目标经过层层分解而产生的、具有可操作性的、用以衡量组织战略实施效果的关键性指标体系。其目的是建立一种机制，将组织战略转化为内部流程和活动，从而促使组织获取持续的竞争优势。

原创 论文笔记——chatgpt评估+

论文是从开放域和限定域两个角度对chatGPT的**performance、可解释性、校准性（calibration）和可信性（faithfulness）**进行了评估（assessment）。（performance、explainability、calibration、faithfulness四个维度进行测评的）以上评估是杂7个细粒度知识抽取任务中进行的。performance(表现)：chatgpt在不同任务下的性能表现。

原创 数据化平台建设—取经问道—1（MVC）

模型（Model）：负责处理应用程序的数据和业务逻辑。它表示应用程序中的数据结构、数据库的操作、数据的处理和计算等。模型不关心数据如何展示或者如何与用户进行交互，只负责处理数据的存取和处理逻辑的实现。视图（View）：负责展示模型中的数据给用户。它负责应用程序的用户界面，包括用户界面的布局、样式、展示逻辑等。视图根据模型的数据来生成用户界面，但它不直接处理用户的输入或者修改数据。控制器（Controller）：负责接收用户的输入，并根据输入来更新模型和视图。

原创 推荐系统技术综述——datafun

课件本机地址：E:\23年研文件\W4-2\2-7 陈XX.pdf。

原创 卡耐基梅隆与多家知名研究单位共同提出在LLM中引入自反馈机制

与人们一样，本文引入了SELF-REFINE框架，通过反复的反馈和改善，类似地改进LLMs的初始输出。最后，通过使用其自身的反馈，同一模型改进其之前生成的输出。本文在7个不同的任务中进行了实验，涵盖从评论改写到数学推理的范围，证明了本文的方法优于直接生成。在所有任务中，使用SELF-REFINE生成的输出得到人类和自动化度量标准的更好评价，相对于直接使用GPT-3.5和GPT-4生成，平均改进幅度约为20%。**基础模型用来生成输出，反馈模型用来对输出进行评估，并为基础模型提供反馈。

原创 数字经济系列讲座-数字化平台（商业购物平台）

数字经济系列讲座。

转载 chatGPT联结hugging face了

可以发现，即使有多个任务资源，HuggingGPT也能将主要任务分解成多个基本任务，最后整合多个模型的推理结果，得到正确答案。在ChatGP和专家模型的配合下，HuggingGPT可以解决语言、图像、音频和视频等多种模式的任务，包含了检测、生成、分类和问题回答等多种形式的任务。所以，HuggingFace社区中的每个AI模型，在HuggingGPT库中都有相应的模型描述，并将其融合到提示中以建立与ChatGPT的连接。为了处理复杂的人工智能任务，LLMs应该能够与外部模型协调，以利用它们的能力。

原创 论文复现-3：ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer

sentence_transformers存放的是python tool中的sentence_transformers的具体模块。data_utils：数据加载的过程，在中文数据加载中使用的是：load_chinese_tsv_data。transformers存放的是python tool中的transformer的具体模块。data 是process之后的数据集，用在model的train过程中。datasets是放置data的zip的文件夹。正在git中向作者请教。

原创 论文复现-2：ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer

数据集中是sentence pair形式存储的数据集，每行数据包括两个内容，一个是original sentence，一个是reference sentence。encoder是使用bert的encoder，使用的average pooling做的constractive loss计算。在之后的model.fit以及其他过程中，都是使用的sentence transformer中的文件。以上这些函数是从已经预定好的库中引入的，是从已经定义好的python tool中导入的。

原创 论文复现-1：ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer

作为了参与loss计算的semantic representation3、在constractive loss layer，是要保持similarity 的samples的距离尽可能的近，而dissimilar的samples的距离尽可能的远。

原创 训练中文版chatgpt

经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。论文地址：https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/2023年2月底，Meta推出了最新的语言模型LLaMA，参数量分别是70亿（7B）、130亿（13B）、330亿（33B）和650亿（65B）。

转载 GPT-4创造者Ilya Sutskever访谈

原文链接：https://hub.baai.ac.cn/view/25065推荐看原文。阅读学习。作为GPT系列模型背后“组装者”和推动者，毫不夸张地说，没有Ilya Sutskever，就没有现在的ChatGPT以及GPT-4。他正在改变世界。更惊人的是，十年前，他已经改变过一次世界。那个引发深度学习新一轮革命浪潮的AlexNet也与Ilya有关，他是AlexNet的作者之一，后续随之而来的AlphaGo、GPT、CLIP、DALL-E和Codex都离不开他的贡献。从推动这一系列变革的科学家角度，他

原创 对比学习顶会论文系列-3-2

从文中的摘要中，文中给出了研究的目标缩减learning objective 和 evaluation metric之间的gap现在已有的在摘要抽取上的方法是以sequence 2 sequence 为主的学习框架，在这个框架下，一般是采用极大似然估计作为损失函数更新模型参数（maximum likelihood estimation——MLE training）

原创 21-22年顶会中对比学习-3

我觉得这篇文章用在了翻译任务中，把对比学习和机器翻译做了很多的集合或者融洽，对比学习的核心思想永远不会变，就是让更接近的语义在空间中更近，让相反的语义在空间中更远。但是怎么和自己的领域任务更好的结合，是需要思考，也是需要实验来不断检验和修正的过程。

原创 顶会中的对比学习论文-2

对比方法：互补的mask方法，将一个输入进行多次mask，第一次的mask的比例是, 第二次mask的时候只针对第一次mask中没被选择的token以的比例进行mask,所以两个句子被mask的部分是互补的，第三次以此类推。文中对比的是：BERT的中间层表示和最后的CLS的表示。本文主要针对的是无监督OOD进行训练，策略是先用有监督对比学习在IND数据上训练，然后用cross-entropy损失对分类器fine-tune，有监督对比学习的目标是拉近IND中属于拉近同一类别的意图，推远不同类别的意图。

原创 GPT4 泄露的信号

所谓Self Instruct，就是采取一定技术手段，不用人工标注Instruct，而是从OpenAI的接口里，好听点叫“蒸馏”出Instruct，也就是不用人标注，而是ChatGPT作为teacher，给你的Instruct打上标注结果。GPT 4.0去年8月就做好了，估计现在GPT 5.0正在炼丹过程中，这么长的时间窗口，结果Google都能落到目前这个局面，想想Transformer、CoT等非常关键的一些研究都是自己做出来的，竟沦落至此，不知一众高层作何感想。如果归纳下，这个方向可以被称为“

原创 NLP中的对抗学习VS对比学习-1

思维导图链接：https://www.processon.com/mindmap/64159f9ff502f062b5d616be是为了让模型更鲁棒，对噪声更加的不敏感。在实现这一点上，有对抗防御、对抗攻击和对抗训练。对抗防御是识别出更多的样本对抗攻击是为了构造更多的样本对抗训练是将样本添加到模型中，以提高模型的鲁棒性embedding是词的表示的一种，一般是可以互相替换的词之间的相似度是比较高的。 大概还是和最初的训练objective 有关，一般的Word embedding的训练是根据自监督

原创 ICLR论文2

同样，在既有自行车又有汽车的图像中，我们可以对自行车或汽车进行定位。在斑马图像中，通过使用旨在识别 "斑马 "或 "条纹 "的语料库文本，我们能够对斑马进行定位。最后，在最后三幅图像中，我们发现我们可以制定具体的对比性问题，问：“这幅图像中哪些像素看起来像P而不是Q？这样做，我们成功地识别了一只蜜蜂而不是一朵花，一只狗而不是一只猫，以及一座山而不是云（反之亦然）。下面这组图片是在使用COCOA做定位，最左侧的是原图，越往右，代表随机选择的图，COCOA定位的“P”图，和COCOA定位的“Q”图。

原创 chatgpt的过去、现在和未来——程兵老师

预训练的误差75%来自于数据本身的本身。

原创 Latex表格制作

网址：https://www.tablesgenerator.com/#

原创 厦大纪老师chatgpt相关讲座3.7

在线更新数据，迭代学习训练，进而提高模型性能。比较明显的是API部分，这一步学习的就是intruction,实现人机写作的复杂数据充足，维基类似于百度百科transformer结构更有优势，预测下一个字，模型越大，则condition的range大。模型遗忘是当模型做一个新任务时，就会忘记旧的任务，而模型足够大，就不会发生这种作用。大的数据+大的模型——chatgpt**下图中的数据，多为猜测。数据的搜集过程，无法复制？​​​不仅给出了答案，还给出推理chain。​​​​。

原创 论文复现-3

linear的向量映射是从：768——>128维。数据集是CONLL03。

原创 23.3.1调研

上一篇调研之后，还是没有思路，继续调研文献。

原创 论文调研——23.2.28

主要是因为chatgpt出现之后，NLP方向的小论文有点没底。调研下，找找方向。

转载 基辛格等分享： ChatGPT 预示着一场智能革命，而人类还没有准备好

我们迫切需要开发一种复杂的辩证法，使人们能够挑战生成人工智能的交互性，不仅要证明或解释人工智能的答案，还要审问它们。带着一致的怀疑态度，我们应该学会有条不紊地探索人工智能，并评估它的答案是否值得信任以及在多大程度上值得信任。这将需要有意识地减轻我们无意识的偏见、严格的培训和大量的实践。如果 ChatGPT 提出的警示没有转化为公认的人类努力，社会的异化甚至革命就有可能发生。这对掌握我们迫在眉睫的未来提出了某些要求。对人工智能的信任需要在多个层面上提高可靠性——机器的准确性和安全性、人工智能目标与人类目标的一

原创 语义对齐&事实虚假性

2], [3]，但目前基于对比的方法的中间层表示遭受了更低的分辨能力，这对于需要。

原创 少样本-图像Improving Zero-Shot Phrase Grounding via Reasoning on External Knowledge and Spatial Relations

内侧、覆盖、重叠、左上角、右上角、左下角、右下角和不相关。这图对于理解文章的创新点有些帮助，这个的任务是找到图中的拐杖。总结来看，是三个方面的创新，一是外部知识图谱的引入，而是基于图的推理，三是空间关系推理。

原创 条件控制生成——diffusion模型——Adding Conditional Control to Text-to-Image Diffusion Models

先猜一下，为神魔会有这种方案出来？我想是因为end-2-end的调优是比较简单快速，而且效果相较而言还能够接受的一种，但是，在LLM上的微调，参数规模太大了，很难有效的调整，又能够适应小游玩家，又能提高效率，在LLM中加入条件控制语句就成了一种方案。文中还解释了一种场景，是在比较细节的调整中，比如人的姿势，如果使用prompt的方式的话，很难调整效果达到一个可接受的情况。controlnet的参数控制和另一种模型蒸馏好像有点关系，也是在模型中嫁梯子，达到最终的目标。架梯子好像有点意思啊，可以多想想。

原创 扩散模型——入门1

昨天对扩散模型有了初步的了解，觉得很妙，每一步中加噪声，最终的问题是回归问题，将模型回归到正态分布的均值和方差上。逐步加噪声，不在使用生成器。扩散模型的公式需要跟进。这一篇是基础的了解，知道大概是什么东西，怎么做的？它的前后左右时什么？

原创 为什么Yann lecun知乎问题——（杨立昆）对chatGPT持否定态度？

我大胆猜测，从草履虫到灵长类动物的亿万年进化过程，很有可能就是我们的预训练过程，我们的模型参数权重，写在了DNA里被一代又一代更新。2012 年，在计算机视觉领域的知名华人科学家朱松纯担任 CVPR 大会主席期间，LeCun 曾给他写信抱怨，自己的论文报告了很好的实验结果，但是审稿的三个人都认为论文说不清楚到底为什么有这个结果，于是便拒稿。用户1：Yann LeCun 对 GPT 系列的观点可能是基于以下几点：数据驱动：杨乐昆认为，GPT 系列模型的能力取决于大量的训练数据，而不是技术本身。

原创 我也要有这种感觉，不是太悲观，而是这就是现实。

chatgpt下的科研商业：https://www.zhihu.com/question/571460238/answer/2889630802。