源代码杀手
大厂算法工程师经验、高校教师。
互相学习,共同进步!想做项目,私聊需求。
展开
-
自然语言处理技术之细粒度实体识别
细粒度实体识别是自然语言处理(NLP)领域中的一个重要研究方向,其目标是从文本中识别出更加具体和详细的实体类型。相比于传统的实体识别(NER),细粒度实体识别不仅关注常见的实体类别(如。原创 2024-11-17 21:44:19 · 461 阅读 · 0 评论 -
neo4j知识图谱工具各版本下载地址
【代码】neo4j知识图谱工具各版本下载地址。原创 2024-05-18 21:17:15 · 853 阅读 · 0 评论 -
【自然语言处理共现矩阵应用】共现矩阵用于表示文本中词语之间的共现关系
对于每一对 (word, co_word),我们在共现矩阵字典 co_occurrence_matrix 中增加它们的共现计数,通过 co_occurrence_matrix[(word, co_word)] = co_occurrence_matrix.get((word, co_word), 0) + 1 实现。window_size 参数表示在一个窗口内的词语将会被认为是共现的,默认为2,意味着在一个词的左右各两个位置内的词都被认为是共现的。打印了构建出的词汇表和共现矩阵。原创 2024-03-17 13:06:16 · 552 阅读 · 0 评论 -
简单的生活案例解释:关系图卷积网络(RGCN)
实体1是/m/09v3jyg(一个电影的发行日期),关系是/film/film/release_date_s./film/film_regional_release_date/film_release_region(该电影的地区发行日期所属的电影发行地区),实体2是/m/0f8l9c(一个电影发行地区)。这些数据可以用于训练和评估知识图谱补全模型,例如RGCN。实体1是/m/07l450(一个电影类型),关系是/film/film/genre(该电影类型所属的电影),实体2是/m/082gq(一个电影)。原创 2024-03-02 21:43:40 · 1071 阅读 · 0 评论 -
复旦大学NLP团队发布86页大模型Agent综述
该论文从AI Agent的历史出发,全面梳理了基于大型语言模型的智能代理现状,包括LLM-based Agent的背景、构成、应用场景以及备受关注的代理社会。该论文对智能代理的发展、应用和未来方向进行了全面深入的探讨。研究涵盖了LLM代理在单一代理、多代理、人机合作等方面的广泛应用,还探讨了LLM代理社会的行为、个性、环境以及领域内的关键问题。LLM-based Agent 论文列表:https://github.com/WooooDyy/LLM-Agent-Paper-List。原创 2024-02-04 14:51:18 · 3409 阅读 · 0 评论 -
自然语言处理技术之词向量:GloVe单词表示的全局向量(glove.840B.300d、glove.6B)
自然语言处理(NLP)中的词向量是将文本中的词汇表示为数值向量的技术。词向量的主要作用是将文本数据转换成计算机可以理解和处理的形式,以便进行各种NLP任务。以下是词向量在NLP中的主要作用:语义表示:词向量捕捉了词汇之间的语义关系。这意味着具有相似含义的词汇在向量空间中距离较近,而语义上不相关的词汇距离较远。例如,"king"和"queen"之间的向量距离应该接近,而与"apple"之间的距离则应远一些。上下文理解:词向量可以帮助模型理解词汇在不同上下文中的含义。原创 2023-09-14 20:52:58 · 782 阅读 · 0 评论 -
Transformers-Bert家族系列算法汇总
🤗 Transformers 提供 API 和工具,可轻松下载和训练最先进的预训练模型。使用预训练模型可以降低计算成本、碳足迹,并节省从头开始训练模型所需的时间和资源。📝 自然语言处理:文本分类、命名实体识别、问答、语言建模、摘要、翻译、多项选择和文本生成。操作指南介绍如何实现特定目标,例如微调语言建模的预训练模型或如何编写和共享自定义模型。概念指南提供了更多关于变形金刚模型🤗、任务和设计理念背后的基本概念和想法的讨论和解释。主类详细介绍了最重要的类,如配置、模型、分词器和管道。原创 2023-09-13 22:30:51 · 870 阅读 · 0 评论 -
自然语言处理技术:NLP句法解析树与可视化方法
自然语言处理(Natural Language Processing,NLP)句法解析树是一种表示自然语言句子结构的图形化方式。它帮助将句子中的每个词汇和短语按照语法规则连接起来,形成一个树状结构,以便更好地理解句子的语法结构和含义。句法解析树对于理解句子的句法关系、依存关系以及语义角色等非常重要。句法解析树的构建过程通常基于语法规则和词汇信息。这些语法规则可以是基于传统的语法理论(如生成语法、依存语法)或是基于数据驱动的方法(如统计句法分析、神经网络模型)。原创 2023-08-17 14:31:59 · 1685 阅读 · 0 评论 -
命名实体识别膨胀卷积模型:idcnn、idcnn和bilstm
命名实体识别(Named Entity Recognition,NER)是自然语言处理中的一个重要任务,它旨在从文本中识别和提取具有特定语义类别的实体,如人名、地名、组织名等。原创 2023-07-25 20:02:39 · 896 阅读 · 0 评论 -
安卓系统上类似苹果快捷指令接入GPT的方案
苹果的快捷指令(Shortcut)可以让用户快速地完成一些常见的任务,例如发送消息、设置提醒、打开应用等等。在使用快捷指令时,用户可以通过图形化界面来创建一个包含多个操作的工作流,这些操作可以顺序执行,也可以根据条件和用户输入来分支和选择执行。而这些操作之间的传递和交互,也可以通过指定输入和输出来完成。在安卓系统上,虽然没有类似于苹果快捷指令的官方功能,但是可以使用一些第三方应用程序和工具来实现类似的功能。原创 2023-04-13 13:14:14 · 2811 阅读 · 0 评论 -
【源码教程案例】AI绘画与安全在未来主要方向有哪些?
高质量图像生成:随着生成模型的不断改进,未来的AI绘画可能会产生更高质量、更真实的图像,以满足各种应用场景的需求。个性化创作:AI绘画可以通过用户的个性化偏好和需求来定制艺术作品。这种定制可能包括颜色、形状、风格和主题等方面的调整。跨媒介融合:AI绘画将继续拓展到其他艺术领域,如雕塑、建筑、音乐和动画等,实现跨媒介的创意融合。艺术家与AI的协作:AI可以成为艺术家的辅助工具,帮助他们快速实现创意或者提供新的灵感来源。未来,我们可能会看到更多艺术家与AI共同创作的项目。原创 2023-03-29 19:26:23 · 1550 阅读 · 0 评论 -
推荐人工智能领域十大类专业好用的深度学习预训练模型
深度学习领域出现了许多优秀的预训练模型。原创 2023-03-27 15:35:57 · 1977 阅读 · 0 评论 -
BERT预训练模型与结构原理简要介绍
BERT(Bidirectional Encoder Representations from Transformers)是一种基于Transformer架构的预训练语言模型。BERT预训练模型由两个部分组成:Transformer编码器和预训练任务。Transformer编码器是BERT预训练模型的核心部分,由多个Transformer块组成,其中每个Transformer块包含多头自注意力机制和前向神经网络。原创 2023-03-22 23:20:19 · 522 阅读 · 0 评论 -
使用Midjourney与ChatGPT组合会怎么样?
Midjourney是一种基于深度学习的文本生成模型,能够生成符合语法和语义规则的文本,而ChatGPT则是一种基于自注意力机制的大规模预训练语言模型,能够实现更加自然、流畅和智能的对话体验。具体来说,可以使用Midjourney生成文本内容,然后使用ChatGPT进行语言理解和对话交互,从而实现更加自然、流畅和智能的对话体验。总之,Midjourney与ChatGPT的组合可以结合两种技术的优势,实现更加高效和准确的文本生成和对话交互,为自然语言处理和智能对话等领域带来更加强大的工具和应用。原创 2023-03-22 23:00:52 · 2735 阅读 · 0 评论 -
AI绘画怎么能画出好图?先理解知识点、流程再开发代码
数据集的选择:AI 绘画的质量和数据集的质量有很大关系。使用高质量的数据集可以帮助 AI 绘画学习更多的绘画技巧和风格,从而创作出更好的图像。训练模型的选择:不同的训练模型对于不同的任务和数据集有不同的表现。选择适合自己的训练模型,可以帮助 AI 绘画更好的图像。数据预处理:对于不同的数据集,需要进行不同的预处理操作,包括图像的大小、颜色空间等等。后期处理:AI 绘画的输出结果可能需要进行后期处理,包括去噪、增强对比度等等。调整参数:训练模型需要进行参数的调整,这些参数包括学习率、迭代次数等等。原创 2023-03-22 22:40:58 · 392 阅读 · 0 评论 -
使用ChatGPT 开放的 API 接口可以开发哪些自研工具?
聊天机器人游戏:可以使用ChatGPT的自然语言生成和理解能力,开发一个聊天机器人游戏,例如语言游戏、问答游戏等,通过与聊天机器人的交互,提高用户的娱乐性和互动性。文本分类工具:可以使用ChatGPT的自然语言理解能力,构建一个文本分类工具,根据文本的内容和语义,将文本进行分类,例如将新闻文章分为政治、经济、娱乐等类别。文本生成工具:可以使用ChatGPT的文本生成能力,开发一个文本生成工具,例如自动生成文章、诗歌、散文等等,或者根据输入的关键词或主题生成相关的文本内容。原创 2023-03-22 22:33:46 · 7436 阅读 · 0 评论 -
Stable diffusion相比于latent diffusion有哪些改进?
同时,Stable Diffusion模型也保留了Latent Diffusion模型的优点,例如可以对任何类型的数据进行处理,并且生成的样本具有高质量和多样性等特点。具体来说,Stable Diffusion模型对生成器和判别器的参数使用了不同的初始化方法,以适应不同的模型结构和训练需求。这一改进使得模型更容易调整和优化,获得更好的训练效果。需要注意的是,Stable Diffusion模型虽然在训练效果上有所改进,但仍需要进行适当的参数调整和优化,才能获得更好的训练效果。原创 2023-03-22 22:32:36 · 2118 阅读 · 1 评论 -
大模型未来趋势
在智能汽车的应用中,大模型和自动驾驶技术可以相互协作,实现更加智能化和高效的行驶体验,同时也带来更多的商业机会和社会价值。此外,大模型还需要具备更高的可维护性和可升级性,以方便模型的优化和更新。未来,大模型的应用场景和业务需求将越来越复杂和多样化,这对大模型的技术和管理能力提出了更高的要求。总之,未来的大模型将面临更加复杂和多样化的应用场景和业务需求,需要具备更高的技术和管理能力。随着计算和存储技术的不断发展,大模型的规模将不断扩大,更多的参数和复杂度将被引入到模型中,以提高模型的准确性和智能化程度。原创 2023-03-22 22:20:20 · 1719 阅读 · 0 评论 -
大模型与大数据之间的关系
大模型和大数据之间是相辅相成、相互促进的关系。大数据指的是规模庞大、类型复杂、处理速度快的数据集合,通常包括结构化数据和非结构化数据。大数据具有广泛的应用场景,例如推荐系统、广告投放、客户关系管理等。在大数据的背景下,大模型可以通过对数据进行深度学习训练,从中提取出复杂的特征和规律,实现各种任务,例如图像识别、自然语言处理、机器翻译等。具体来说,大模型可以通过对大数据的训练,不断地优化和更新自己的参数,从而提高自身的准确性和泛化能力。原创 2023-03-22 22:11:18 · 6802 阅读 · 0 评论 -
大模型与知识图谱之间的关系
大模型和知识图谱是两个不同的概念,但它们可以相互补充和增强。大模型是指采用深度学习技术训练出来的参数数量庞大、参数复杂度高的模型,例如 OpenAI 的 GPT-3 模型。大模型通过对海量数据的学习,可以从中提取出复杂的特征和规律,从而实现各种任务,例如自然语言处理、计算机视觉等。大模型的优势在于可以从数据中自动学习知识,避免了手动构建知识库的繁琐过程。知识图谱则是一种以图为基础的知识表示和推理框架,可以用来描述实体之间的关系和属性,并支持自然语言问答、推荐系统等多种应用。原创 2023-03-22 22:06:40 · 3652 阅读 · 0 评论 -
大规模预训练模型对于知识图谱构建起到的作用
属性提取:大规模预训练模型可以从文本中提取实体的属性,例如人物的职业、地点的地理位置等,并将这些属性映射到知识图谱中的属性值上。知识图谱补全:大规模预训练模型可以通过对知识图谱中已有实体和关系的学习,预测出知识图谱中未知实体和关系的属性值,从而完成知识图谱的补全。实体识别:大规模预训练模型可以通过对海量文本的学习,识别文本中出现的实体,并将其映射到知识图谱中的实体节点上。语义匹配:大规模预训练模型可以学习到语义上的相似性,从而可以实现实体、关系和属性的语义匹配,提高知识图谱的语义一致性和准确性。原创 2023-03-22 17:39:46 · 929 阅读 · 0 评论 -
如何使用OpenAI fine-tuning(微调)训练属于自己专有的ChatGPT模型?
要使用OpenAI的微调技术来训练自己的专有模型,您需要遵循以下步骤:获取和准备数据集:首先,您需要准备自己的数据集。可以使用公共数据集,也可以使用自己的数据集。数据集需要以特定格式(如JSONL)进行存储,并且需要经过清洗和预处理。选择合适的模型和超参数:根据您的任务需求,选择合适的模型和超参数。例如,如果您的任务是文本分类,可以选择GPT或BERT等模型,并选择合适的学习率、批量大小等超参数。安装OpenAI的API:您需要安装OpenAI的API并获得访问密钥,以便使用OpenAI的微调技术。原创 2023-03-21 22:06:54 · 12465 阅读 · 0 评论 -
ChatGPT上线了!我在2023年1月2日这一天用上了它!百问百答!我只能说(真NB)算法工程师可以不用百度/Google了!
欢迎关注ChatGPT问答专栏:https://blog.csdn.net/weixin_41194129/category_12159275.html虽然没有出来图片,但是论文说明了,真的很强大原创 2023-01-02 21:03:53 · 6330 阅读 · 1 评论 -
ChatGPT的API接口的模型有多少种?这些模型都有什么功能或者在应用场景上有什么区别?【模型介绍使用与调用接口方法】
最后,Reformer模型是一种新型的自然语言处理模型,可以帮助机器做更好的表示和理解文本。2. 2. 调用GPT-3模型:我们可以使用GPT-3模型来解决文本自动摘要任务,它可以帮助机器快速提取和理解文本的关键概念,生成准确的摘要。1.1 调用GPT-2模型:在自然语言处理任务中,我们可以使用GPT-2模型来提取文本的语义特征,以便机器更好地理解和推断文本的含义。davinci: 这是最大和最全面的模型,具有最高的准确性和灵活性,用于多种自然语言处理任务,如文本生成、对话系统、翻译等。原创 2023-02-21 11:39:37 · 7923 阅读 · 1 评论 -
【Neo4j构建知识图谱】图上的数据科学2:数据可视化与探索性EDA
上一篇文章:【Neo4j构建知识图谱】图上的数据科学1:算法项目合集方法梳理【已飞机航线作为案例】原创 2023-01-11 22:44:53 · 542 阅读 · 0 评论 -
【Neo4j构建知识图谱】图上的数据科学1:算法项目合集方法梳理【飞机航线作为案例】
Neo4j Graph Data Science是Neo4j官方提供的一套图算法库,它用来代替之前的Graph Algorithm算法库,适合Neo4j 4.0以上版本使用。对于初学者来说,Neo4j Sandbox简直是省时省力的学习神器。在云端免费申请一个Neo4j Sandbox的账号就可以开始您的Neo4j体验之旅了。原创 2023-01-11 22:32:55 · 762 阅读 · 0 评论 -
【Neo4j构建知识图谱】配置知识图谱插件APOC与案例实现
APOC (Awesome Procedures on Cypher) 是一个 Neo4j 的扩展库,可以在 Cypher 中使用各种额外的功能和过程。简单介绍一下流程:下载:https://github.com/neo4j-contrib/neo4j-apoc-procedures/releases/tag/4.4.0.12我的neo4j是4.4.5版本的,所以我选择的版本号:4.4.0.12将插件存放在:路径neo4j-community-4.4.5\plugins下配置环境变量:在/conf原创 2023-01-11 20:26:18 · 1353 阅读 · 0 评论 -
【Neo4j构建知识图谱】python调用三行cypher操作语言完成节点、节点名称、关系、属性的所有信息创建
【代码】【Neo4j构建知识图谱】:python调用三行cypher操作语言完成节点、节点名称、关系、属性的所有信息创建。原创 2023-01-10 13:23:21 · 715 阅读 · 0 评论 -
【Neo4j构建知识图谱】官方服务图谱大型数据集下载与可视化方法【数据集包括:食谱数据、足球、权力的游戏、美国宇航局、英国公司注册、财产所有权、政治捐款】
此服务器托管许多具有只读访问权限的数据集,供公众使用。该只读用户的用户名和密码与数据库名称相同。例如,对于数据库,用户名是recommendations,密码也是recommendations。服务器 URL 为:https://demo.neo4jlabs.com:7473登录之后:您可以在自己的 Neo4j 浏览器中快速运行的其他示例包括::play got权力的游戏互动:play nasa美国宇航局知识图谱示例:play ukcompanies英国公司注册、财产所有权、政治捐款。原创 2023-01-08 15:55:27 · 1253 阅读 · 0 评论 -
【Neo4j构建知识图谱】cypher操作import导入本地 CSV电影人数据集
【代码】【Neo4j构建知识图谱】:cypher操作import导入本地 CSV电影人数据集。原创 2023-01-08 15:12:12 · 767 阅读 · 0 评论 -
【Neo4j构建知识图谱】cypher操作语言加载 CSV电影人数据集链接文件
CSV 文件可以使用LOAD CSV密码条款。出于安全原因,无法加载本地CSV文件,这些文件必须在HTTP或HTTPS服务器(如GitHub,Google Drive和Dropbox)上公开访问。使 CSV 文件可用的另一种方法是将它们上传到云存储桶存储(例如 Google Cloud Storage 或 Amazon S3),并将存储桶配置为静态网站。在加载任何数据之前添加约束通常会提高数据加载性能。实际上,除了添加完整性检查之外,唯一约束还会同时在属性上添加索引,以便加载期间的操作更快。原创 2023-01-08 13:55:32 · 438 阅读 · 0 评论 -
【Neo4j构建知识图谱】Python调用cypher语言(3):构造关系网(MATCH,CREATE)用法
对应版本号如下:下面都安装调用cypher语言,构造关系网(MATCH,CREATE)用法,实现代码如下。原创 2023-01-08 12:12:45 · 572 阅读 · 0 评论 -
【Neo4j构建知识图谱】Python调用cypher语言(2):批量创建多节点多关系多领域
【代码】【Neo4j+Python构建知识图谱】py2neo调用cypher语言(2):批量创建多节点多关系多领域。原创 2023-01-08 10:43:43 · 1338 阅读 · 0 评论 -
【Neo4j构建知识图谱】Python调用cypher语言(1):只需5行代码一次性完成节点、关系、属性的创建
Cypher 是 Neo4j 的图形查询语言,可让您从图形中检索数据。它就像用于图形的 SQL,并受到 SQL 的启发,因此它让您可以专注于从图形中获取的数据(而不是如何获取数据)。由于它与其他语言的相似性和直观性,它是迄今为止最容易学习的图形语言。Cypher 是独一无二的,因为它提供了一种匹配模式和关系的可视化方式。原创 2023-01-08 09:51:49 · 1529 阅读 · 1 评论 -
py2neo直接调用cypher操作程序【不用每次都要输入cypher操作命令】
Neo4j 博客:https://neo4j.com/blog/一般情况下,我们会通过这样创建节点。原创 2023-01-08 01:23:02 · 732 阅读 · 0 评论 -
Neo4j网页服务器端口Cypher操作直接创建知识图谱
创建其他节点的时候,可以一次输入:例如参考来自:https://blog.csdn.net/weixin_39888082/article/details/110139183。原创 2023-01-08 00:39:33 · 757 阅读 · 0 评论 -
Neo4j带有图片链接作为节点的知识图谱
打开:http://localhost:7474/browser/原创 2023-01-07 23:33:40 · 1647 阅读 · 3 评论 -
知识图谱构建:py2neo的实体关系以及节点显示图片
py2neo 节点可以显示图片。你可以将图片作为节点的属性存储在 Neo4j 数据库中,然后使用 py2neo 读取这些属性并在应用程序中显示。请注意,你需要使用一些库或方法来在应用程序中显示图片,这取决于你使用的技术栈。原创 2023-01-05 00:29:27 · 1951 阅读 · 0 评论 -
知识图谱构建:py2neo案例100个知识点应用
这些只是 py2neo 的一些简单用法,如果你想要更多关于 py2neo 的信息,可以参考官方文档:https://py2neo.org/v4/原创 2023-01-04 23:59:51 · 768 阅读 · 0 评论 -
知识图谱构建: Neo4j 常见实例应用
身份验证和授权,使用 Neo4j 存储用户和角色之间的关系,并使用图查询算法进行身份验证和授权操作。关键路径分析,使用 Neo4j 存储项目任务之间的关系,并使用图遍历算法进行关键路径分析。网络监测,使用 Neo4j 存储网络设备之间的关系,并使用图遍历算法进行网络监测。电商物流关系图,用于表示电商网站的商品流通过程中的各个环节之间的关系。软件项目关系图,用于表示软件项目开发过程中的各个任务和模块之间的关系。产品供应链图,用于表示产品的生产和销售过程中的各个环节之间的关系。原创 2023-01-04 23:53:41 · 2590 阅读 · 0 评论