- 博客(33)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【隐私计算】隐语HEU同态加密算法解读
HEU: 一个高性能的同态加密算法库，提供了多种 PHE 算法，包括ZPaillier、FPaillier、IPCL、Damgard Jurik、OU、EC ElGamal 以及基于FPGA和GPU硬件加速版本的Paillier版本。
2024-10-11 15:33:32
813
原创 全同态加密算法概览
全同态加密算法 (fully homomorphic encryption, FHE) 能够有效支持任意函数密文计算。鉴于全同态加密的强大功能，一经提出便成为密码界的公开问题，被誉为“密码学圣杯”。目前可以构造全同态加密的密码学假设主要有：理想格上的理想陪集问题(Ideal Coset Problem，ICP)、整数上的近似最大公因子问题(Approximate Greatest Common Devisior, AGCD)、带错学习问题(Learning with Errors，LWE)等等。
2024-09-30 12:00:39
1460
原创 【大模型系列篇】动手部署实践国产文生图模型-腾讯混元DiT
首个中英双语DiT架构， 混元-DiT，高性能细粒度中文理解-多分辨率扩散Transformer模型。腾讯提出的，一个，此模型具有中英文细粒度理解能力。为了构建混元DiT，精心设计了Transformer结构、文本编码器和位置编码。腾讯构建了完整的数据管道，用于更新和评估数据，为模型优化迭代提供帮助。为了实现细粒度的文本理解，腾讯训练了多模态大语言模型来优化图像的文本描述。最终，混元DiT能够与用户进行多轮对话，根据上下文生成并完善图像。
2024-09-30 10:07:04
1121
1
原创 【隐私计算】Cheetah安全多方计算协议-阿里安全双子座实验室
2PC-NN安全推理与实际应用之间仍存在较大性能差距，因此只适用于小数据集或简单模型。Cheetah仔细设计DNN，基于格的同态加密、VOLE类型的不经意传输和秘密共享，提出了一个2PC-NN推理系统Cheetah，比CCS'20的CrypTFlow2开销小的多，计算效率更快，通信效率更高。主要贡献有两点:基于格的同态加密的协议可在不进行任何昂贵同态Rotation操作的情况下评估线性层；提出了非线性函数的几个精简且通信高效的原语。
2024-09-14 12:49:05
1356
原创 【隐私计算】Paillier半同态加密算法
Paillier是一个支持加法同态的公钥密码系统，由Paillier在1999年的欧密会（EUROCRYPT）上首次提出。此后，在PKC'01中提出了Paillier方案的简化版本，是当前Paillier方案的最优方案。在众多PHE方案中，Paillier方案由于效率较高、安全性证明完备的特点，在各大顶会和实际应用中被广泛使用，是隐私计算场景中最常用的PHE实例化方案之一。
2024-09-12 22:34:16
914
原创 【深度学习】搞懂卷积神经网络(一)
卷积神经网络是一种具有局部连接，权重共享等特性的深层前馈神经网络。一般是由卷积层，池化层，全连接层交叉堆叠而成，使用反向传播算法进行训练。卷积神经网络具有一定程度上的平移，缩放和旋转不变性，较前馈神经网络而言，其参数更少。
2024-09-12 06:00:00
993
原创 矩阵乘法加速计算优化最新进展
矩阵乘法作为众多 GPU 算子的基础操作，是高性能计算的重要问题之一，也是 AI 等应用的基石。它的算法机制本身相当简单，但为了达到更快的速度，人们多年来不懈努力，优化程度却一直有限。现在，加速矩阵乘法过程的任务成为数学和计算机科学的交叉点。研究人员至今仍在继续改进该过程，尽管近几十年来进展相当有限。名古屋大学计算机科学家 François Le Gall 表示，自 1987 年以来，矩阵乘法的数值改进「一直很小，而且极其难以实现」。
2024-09-11 18:52:05
856
原创 【深度学习】神经网络-怎么分清DNN、CNN、RNN？
最“大”的概念是人工神经网络（Artificial Neural Network, ANN），它是较为广泛的术语，通常指的是一类模拟生物神经网络的数学模型，其中包括神经元、权重和连接。在这个术语下，可以包括深度神经网络（DNN）、卷积神经网络（CNN）、循环神经网络（RNN）等不同类型的网络。
2024-09-11 06:00:00
1260
原创 【深度学习】深度学习的发展历程
深度学习起源和发展，机器学习中，我们经常使用两种方式来表示特征：局部表示和分布式表示；深度学习是将原始的数据特征通过多步的特征转换得到一种特征表示，并进一步输入到预测函数得到最终结果。深度学习以神经网络为主要模型，一开始用来解决机器学习中的表示学习问题。但是由于其强大的能力，其后深度学习越来越多地用来解决一些通用人工智能问题，比如推理、决策等，广泛应用于车牌识别、人脸识别、语音识别、智能助手、推荐系统、自动驾驶等重大领域。
2024-09-04 18:15:32
1263
原创 【大模型系列篇】Transformer模型优化技巧和选择
自从 Transformer 模型发布以来，研究人员针对训练稳定性、性能与计算效率提升等方面提出了多种改进方法。包括归一化、位置编码、激活函数和注意力机制。为了增强模型的训练稳定性，建议采用前置的RMSNorm作为层归一化方法。同时在选择激活函数时，为了获得更优的模型性能，可以优先考虑使用 SwiGLU 或 GeGLU。而对于位置编码，可以优先选择 RoPE 或者 ALiBi，这两种位置编码方法在建模长序列数据时通常能够具有较好的性能。至于注意力机制的选择需要综合模型的效率和性能两方面来考量。
2024-08-30 06:00:00
1098
原创 【大模型系列篇】大语言模型架构分类和对比
在预训练语言模型时代，自然语言处理领域广泛采用了预训练(Pre-training) + 微调(SFT)的范式， 并诞生了以 BERT 为代表的编码器（Encoder-only）架构、以 GPT 为代表的解码器（Decoder-only）架构和以 T5 为代表的编码器-解码器（Encoder-decoder）架构的大规模预训练语言模型。值得注意的是，学术界所提到解码器架构时，通常指的都是因果解码器架构。与编码器-解码器不同的是，前缀解码器在编码和解码过程中是共享参数的，并没有划分为独立的解码器和编码器。
2024-08-30 06:00:00
937
原创 【大模型系列篇】预训练模型：BERT & GPT
BERT 的目标是创建一种语言模型，可以理解句子中单词的上下文和含义，同时考虑到它前后出现的单词。BERT和GPT是两种基于Transformer架构的预训练模型，BERT侧重于理解句子中的上下文和含义，适合词语级别的任务；GPT的单向语言模型采用了经过修改后的Decoder模块, Decoder采用了look-ahead mask, 只能看到context before上文信息, 未来的信息都被mask掉了.缺点：模型过于庞大，参数量太多，需要的数据和算力要求过高，训练好的模型应用场景要求高。
2024-08-27 18:31:53
1139
原创 【大模型系列篇】词向量 - 从Word2Vec到ELMo
词向量（又叫词嵌入）已经成为NLP领域各种任务的必备一步，而且随着BERT、GPT等预训练模型的发展，词向量演变为知识表示方法，但其本质思想不变。生成词向量的方法有很多种，本文重点回顾Word2Vec到ELMo。主要讲了词向量，神经网络语言模型Word2Vec两种模型、GloVe、ELMo动态词向量模型。
2024-08-27 14:12:46
1143
原创 【大模型系列篇】人工智能与智能计算的发展
智能世界与物理世界一样，都是具有巨大复杂度的研究对象，AI大模型仍然是通过数据驱动等研究宏观世界的方法，提高机器的智能水平，对智能宏观世界理解并不够，直接到神经系统微观世界寻找答案是困难的。智能计算时代，除了互联网以外，还有数据基础设施，支撑各类终端通过端边云实现万物互联，终端、物端、边缘、云都嵌入AI，提供与ChatGPT类似的大模型智能服务，最终实现有计算的地方就有AI智能。更先进的制造工艺可以使CPU与GPU内部集成更多的晶体管，使处理器具有更多的功能以及更高的性能，面积更小，成本更低等。
2024-08-22 14:15:19
1518
原创 【大模型系列篇】大语言模型（LLM）概览
大语言模型（LLM，Large Language Model），是一种旨在理解和生成人类语言的人工智能模型。LLM 通常指包含数百亿（或更多）参数的语言模型，它们在海量的文本数据上进行训练，从而获得对语言深层次的理解。目前，国外的知名 LLM 有 GPT-3.5、GPT-4、Gemini、Claude 和 LLaMA 等，国内的有文心一言、讯飞星火、通义千问、ChatGLM、百川等。为了探索性能的极限，许多研究人员开始训练越来越庞大的语言模型，例如拥有1750 亿参数的GPT-3和5400 亿参数的。
2024-08-22 06:00:00
995
原创 【大模型系列篇】Transformer代码解读-从零开始实现
Transformer代码解读 - 来自哈佛大学NLP实验室关于Transformer的一篇开源博客The Annotated Transformer
2024-08-21 06:00:00
1233
原创 【隐私计算】Java(JDK17)通过JNI实现调用C++动态链接库(.so)
在最近的工作中，需要通过Java调用C++的动态链接库（.so文件）。为此，我使用了Java的JNI（Java Native Interface）技术。我整理了一个简单的示例，供大家参考。JNI 是Java提供的一种机制，允许Java代码与本地应用程序或库进行交互，尤其是那些用C或C++编写的库。这在需要与底层系统进行高效交互或调用现有的本地库时非常有用。
2024-08-21 06:00:00
683
转载 李沐：创业一年，人间三年
在Amazon呆到第五年的时候就想着创业了，但被疫情耽搁了。到第7年半的时候，觉得太痒了，就提了离职。现在想来，如果有什么事这一辈子总要试下的，就蹭早。因为真开始后会发现有太多新东西要学，总感叹为啥没能早点开始。创业前做了一系列用Gluon命名的项目。在量子物理里，Gluon是把夸克绑在一起的一种玻色子，象征这个项目一开始是Amazon和Microsoft的联合项目。当时项目经理拍拍脑袋名字就出来了，但取名对程序员来说很困难，我们每天都在纠结各种文件名和变量名。最后新公司干脆就用玻色子（Boson）来命名了
2024-08-16 18:35:21
59
原创 【大模型系列篇】Transformers综述--邱锡鹏
Transformer是一种著名的深度学习模型，已在自然语言处理（NLP）、计算机视觉（CV）和语音处理等多个领域得到广泛应用。Transformer 最初被提出作为一种序列到序列模型用于机器翻译。后来的研究表明，基于 Transformer 的预训练模型（PTMs） 可以在各种任务上实现最先进的性能。因此，Transformer 已成为 NLP 尤其是 PTMs 的首选架构。
2024-08-14 18:00:31
944
原创 【大模型系列篇】论文解读：Transformer - Attention Is All You Need
当今大模型初学者必读的一篇论文，已经有不少业内大佬都翻译解读过这篇论文，此处仅作为自己学习的记录。该论文是由谷歌机器翻译团队于2017年发表在NIPS ，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为Encoder-Decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。
2024-08-09 17:24:26
840
原创 【隐私计算】隐语Yacl框架解读
YACL 是一个 C++ 库，包含了隐语 SecretFlow 代码所依赖的常见加密、网络和 IO 模块。YACL 中的加密模块实现了许多最先进的安全计算协议，包括 OT、VOLE、TPRE 等原语，以及 PRG、RO 等工具。查看 ALGORITHMS.md 文件中 YACL 支持的完整算法列表。
2024-08-05 15:42:33
607
原创 【大模型系列篇】大语言模型的前世今生
从历史上来看，自然语言处理的研究范式变化是从规则到统计，从统计机器学习到基于神经网络的深度学习，这同时也是语言模型发展的历史。要了解语言模型的发展历史，首先我们需要认识什么是语言模型。
2024-08-05 10:48:51
750
原创 【基础篇】03-Redis数据类型及底层原理(下)
Redis底层实现共有 9 种数据结构：SDS、双向链表(list)、压缩列表(ziplist)、哈希表(hash)、跳表(zskiplist)、整数集合(inset)、quicklist、listpack，分上下篇进行整理。上篇讲：String（字符串）、List（列表）、Hash（哈希）下篇讲：Set（集合）、Zset（有序集合）
2024-08-01 16:53:27
622
原创 【搜索核心技术】经典搜索核心算法：BM25及其变种
上篇介绍了TF-IDF算法和它的四个变种，相对于TF-IDF而言，在信息检索和文本挖掘领域，BM25算法则更具理论基础，而且是工程实践中当仁不让的重要基线（Baseline）算法。BM25在20世纪70年代到80年代被提出，到目前为止已经过去二三十年了，但是这个算法依然在很多信息检索的任务中表现优异，是很多工程师首选的算法之一。本篇将谈谈BM25算法的历史、算法本身的核心概念以及BM25的一些重要变种，快速掌握这个信息检索和文本挖掘的利器。
2024-08-01 15:45:15
1666
原创 【大模型系列篇】Vanna-ai基于检索增强(RAG)的sql生成框架
Vanna 使用一种称为 LLM（大型语言模型）的生成式人工智能。简而言之，这些模型是在大量数据（包括一堆在线可用的 SQL 查询）上进行训练的，并通过预测响应提示中最有可能的下一个单词或“标记”来工作。Vanna 优化了提示（通过向量数据库使用嵌入搜索）并微调 LLM 模型以生成更好的 SQL。Vanna 可以使用和试验许多不同的LLM，以获得最准确的结果。
2024-07-30 18:05:16
1206
原创 【搜索核心技术】经典搜索核心算法：TF-IDF及其变种
TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术，常用于挖掘文章中的关键词，而且算法简单高效，常被工业用于最开始的文本数据清洗。TF-IDF有两层意思，一层是"词频"（Term Frequency，缩写为TF），另一层是"逆文档频率"（Inverse Document Frequency，缩写为IDF）。
2024-07-30 18:04:32
735
原创 【大模型系列篇】本地问答系统-部署Ollama、Open WebUI
部署本地大模型，结合Ollama、Open WebUI以及本地RAG（Retrieval-Augmented Generation）可以为用户提供一个强大的本地知识库和交互式对话系统。
2024-07-25 11:54:03
1086
原创 【基础篇】03-Redis数据类型及底层原理(上)
在 Redis 中，如果 SDS 的存储值大于 64 字节时，Redis 的内存分配器会认为此对象为大字符串，并使用 raw 类型来存储，当数据小于 64 字节时(字符串类型)，会使用 embstr 类型存储。既然内存分配器的判断标准是 64 字节，那为什么 embstr 类型和 raw 类型的存储判断值是 44 字节？
2024-07-19 15:33:08
750
原创 HBase数据访问的几种方式
HBase RESTServer是Apache HBase提供的一个RESTful接口，用于通过HTTP协议与HBase进行交互。通过RESTServer，用户可以方便地通过发送HTTP请求来进行数据的读取、写入和查询操作，无需直接使用HBase的Java API。启动后，我们可以通过访问http://localhost:8080来访问RESTServer的Web UI，查看API文档和进行交互。易于使用：通过HTTP协议进行交互，无需了解复杂的Java API。
2024-07-18 15:54:06
1182
原创 【基础篇】02-Redis数据持久化
RDB（Redis DataBase）是将某一个时刻的内存快照（Snapshot），以二进制的方式写入磁盘的过程。AOF（Append Only File）中文是附加到文件，顾名思义 AOF 可以把 Redis 每个键值对操作都记录到文件（appendonly.aof）中。AOF 重写指的是它会直接读取 Redis 服务器当前的状态，并压缩保存为 AOF 文件。
2024-07-17 16:49:35
732
原创 【大模型系列篇】文生图stable-diffusion-webui安装入门教程
这里不详细叙述Python环境准备工作，可以安装Anaconda创建一个环境。如果下载慢，可以选择一个国内的git托管平台，搜索到克隆项目进行加速。
2024-06-28 16:33:10
398
原创 Linux(centos7)下安装OpenSSL 安装详解
若CentOS7中没有GCC编译器，执行命令 yum -y install gcc 安装GCC。如需使用新版本开发，则需替换原来的软链接指向，即替换原动态库，进行版本升级。CentOS 7.6 默认版本：openssl-1.0.2k。访问OpenSSL官网资源，查看是否有最新的版本发布。注意：不能直接删除软链接。
2020-04-26 09:58:55
27153
4
大语言模型综述中文版《A Survey of Large Language Models》
2024-08-12
不经意传输协议研究综述-软件学报2023
2024-07-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人