自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(313)
  • 资源 (431)
  • 收藏
  • 关注

原创 环境配置|Neo4j数据库——Neo4j安装与配置以及JDK安装与配置教程(详细)

JDK=17 Neo4j=5.15(win10也可以)由于是基于Java的图数据库,运行Neo4j需要启动JVM进程,因此必须SE的JDK。配置 JDK环境,为以后能适应Springboot,请选择最低JDK1.8的环境。

2024-07-17 22:35:23 510

原创 环境配置|PyCharm——Pycharm本地项目打包上传到Github仓库的操作步骤

通过Ctrl+Alt+S快捷组合键的方式,打开设置,导航到版本控制一栏中的Git,在Git可执行文件路径中,输入Git.exe。按照下图顺序,依次点击,完成测试。输出如图标④的结果,即可完成测试。输出下图结果,配置Git成功,如本地未安装Git,需自行安装。下图栏中不输入任何配置信息,直接点击测试,如本地端有安装并配置Git,也能够自动弹出Git默认安装路径。点击测试即可。

2024-07-16 15:40:24 515

原创 人工智能|深度学习——常用的神经网络优化算法(从梯度下降到 Adam!)

优化算法的功能,是通过改善训练方式,来最小化(或最大化)损失函数E(x)。模型内部有些参数,是用来计算测试集中目标值Y的真实值和预测值的偏差程度的,基于这些参数,就形成了损失函数E(x)。比如说,权重(W)和偏差(b)就是这样的内部参数,一般用于计算输出值,在训练神经网络模型时起到主要作用。在有效地训练模型并产生准确结果时,模型的内部参数起到了非常重要的作用。这也是为什么我们应该用各种优化策略和算法,来更新和计算影响模型训练和模型输出的网络参数,使其逼近或达到最优值。

2024-07-15 11:44:18 923

原创 心理学|心理咨询概论——心理咨询概论单科作业(中科院)

咨询结束后,心理咨询师与求助者的关系也应终止┋C、咨询师对咨询效果的预期,既不能过分保守,也不能冒进┋D、心理咨询师不介入、不解决求助者生活中的具体问题。、以下关于心理咨询师需要具备的一些个人特质(即对人的心理活动的感受性、丰富的想象力、思维的敏捷性与灵活性)的叙述,正确的是( )。、整合身体、情感、认知、情境和行为系统┋B、研究和实践的整合┋C、各种心理疗法的理论和技术的整合┋D、个人和职业的整合。、个体未表达出来的情感,包括悔恨、愤怒、怨恨、痛苦、焦虑、悲伤、罪恶、遗弃感等在完形疗法中称为( )。

2024-07-10 18:16:37 410

原创 心理学|变态心理学&健康信息学——变态心理学与健康心理学单科作业题(中科院)

健康的心理活动是一种处于动态平衡的心理过程┋B、它涵盖一切有利于个体生存与发展的心理活动┋C、它是围绕心理健康常模,在一定范围内上下波动的相对平衡过程┋D、它在某一时间段内,展现着自身的正常功能。、精神分裂症患者在言谈或书信中,其单独语句在语法结构上是正确的,但主题之间、语句之间缺乏内在意义上的连贯性和应有的逻辑性,这种症状是( )、在应对压力过程中个体变得敏感、脆弱,即使是日常微小的困扰,都可引发个体强烈的情绪反应,说明其处于“一般适应征候群”的( )

2024-07-03 14:58:55 400

原创 心理学|人格心理学——人格心理学单科作业(中科院)

人格的统合性体现了人格的组织功能、匹配功能和健康功能┋B、人格决定一个人的生活方式,甚至有时会决定一个人的命运┋D、人格的内在的统一性遭到破坏,就会产生心理冲突,出现各种适应困难。、霍尼所说的( )是指个体在此时此地所表现出来的一切存在的总和,是别人所能观察到的客观存在,独立于个体的自我概念和知觉。、根据卡特尔的理论,在根源特质中,( )是由遗传决定的特性,决定个体对情境做出反应的速度、能量、脾气等。、人格决定一个人的生活方式,甚至有时会决定一个人的命运,反映的是人格的( )

2024-07-01 12:15:49 483

原创 心理学|发展心理学——发展心理学单科作业(中科院)

心理活动的随意机能的形成和发展┋B、心理机能相互作用并重新组合┋C、心理活动抽象概括机能的形成和发展┋D、心理活动越发突出个性特征。、心理发展是由遗传因素决定的┋B、心理发展的过程是遗传素质的自然显现过程┋C、环境只能促进或延缓遗传素质的自我显现而已。、在有指导的情境下,儿童借助成人的帮助所达到的解决问题的水平与在独立活动中所达到的解决问题的水平之间的差距。、在有指导的情境下,儿童借助成人的帮助所达到的解决问题的水平与在独立活动中所达到的解决问题的水平之间的差距。

2024-06-24 22:11:17 726

原创 心理学|社会心理学——社会心理学单科作业(中科院)

是一种与人交往的时候,觉得不舒服、不自然、紧张,甚至恐惧的情绪体验┋C、社交焦虑是一种消极的情绪体验┋D、为了回避导致社交焦虑的情境,个体通常是减少社交,选择孤独的生活方式。、在一项试验中,给被试呈现一组他人的面部照片,照片被呈现的次数不同,结果发现,照片呈现次数越多,被试越喜欢,这说明人际吸引受( )的影响。、态度转变是在沟通信息与接收者原有态度存在差异的情况下发生的,对于威信低的传递者,要引发最大的态度转变量,这种差异应该( )。、信息如果能唤起人们的畏惧情绪,一般有利于说服。

2024-06-24 21:38:45 309

原创 心理学|基础心理学——基础心理学单科作业(中科院)

能够感觉到的最小刺激强度叫下限┋C、能够忍受的刺激的最大强度叫上限┋D、下限和上限之间的刺激都是可以引起感觉的范围。、是人和动物心理的根本区别┋B、是自然进化的最高产物┋C、是物质发展最高阶段的产物┋D、是在觉醒状态下的觉知。、是人类智慧的根源┋B、人脑对输入的信息进行编码、储存和提取的过程┋C、过去的经验在头脑中的反映。、动机是在需要的基础上产生的┋C、动机是人活动的内部动力┋D、不同的活动可以由相同的动机引起。、是以词来标示和记载的┋B、是思维活动借以进行的单元┋C、是人脑对客观事物本质属性的反映。

2024-05-20 12:33:19 580

原创 人工智能|编程语言——基于python的网络爬虫爬取天气数据及可视化分析(Matplotlib、sklearn等)

在文中,我们旨在利用爬取的历史天气数据进行可视化分析。首先,我们选择了一个可靠的数据源,并使用Python编程语言和BeautifulSoup库实现了数据的爬取。接着,我们对原始数据进行了清洗和处理,包括缺失值的处理和数据格式转换。然后,我们采用了Matplotlib可视化工具,设计了多种图表类型,如折线图、柱状图和热力图,以展示历史天气数据的趋势和变化。通过分析结果,我们发现了不同时间段内温度、天气状况等指标的变化情况,并与历史数据进行了比较。

2024-05-16 12:12:27 982

原创 人工智能|深度学习——YOLOV8结构图

YOLOV8

2024-05-15 23:13:47 327

原创 人工智能|机器学习——14种数据异常监测方法

本文收集整理了公开网络上一些常见的异常检测方法(附资料来源和代码)。不足之处,还望批评指正。

2024-05-15 16:25:40 795

原创 人工智能|深度学习——PlotNeuralNet简单教程

是一个强大的开源Python库,它专为简化和美化神经网络图的绘制而设计。

2024-05-10 23:33:07 908

原创 人工智能|推荐系统——工业界的推荐系统之涨指标

三、涨指标的方法:排序模型五、涨指标的方法:特殊对待特殊人群六、涨指标的方法:利用交互行为。

2024-05-09 14:53:44 182

原创 人工智能|推荐系统——工业界的推荐系统之冷启动

UGC的物品冷启有哪些⼩红书上⽤户新发布的笔记。B站上⽤户新上传的视频。今⽇头条上作者新发布的⽂章。为什么要特殊对待新笔记?新笔记缺少与⽤户的交互,导致推荐的难度⼤、效果差。扶持新发布、低曝光的笔记,可以增强作者发布意愿。优化冷启的目标精准推荐:克服冷启的困难,把新笔记推荐给合适的⽤户,不引起⽤户反感。激励发布:流量向低曝光新笔记倾斜,激励作者发布。挖掘⾼潜:通过初期⼩流量的试探,找到⾼质量的笔记,给与流量倾斜。

2024-05-09 14:11:10 368

原创 人工智能|推荐系统——工业界的推荐系统之重排

基于物品属性标签基于物品向量表征 ⽤召回的双塔模型学到的物品向量(不好)

2024-05-08 13:42:37 216

原创 人工智能|推荐系统——工业界的推荐系统之序列建模

对LastN物品ID做embedding,得到 𝑛 个向量。把 𝑛 个向量取平均,作为⽤户的⼀种特征。适⽤于召回双塔模型、粗排三塔模型、精排模型。

2024-05-08 13:29:09 192

原创 人工智能|机器学习——强大的 Scikit-learn 可视化让模型说话

使用 utils.discovery.all_displays 查找可用的 API。Sklearn 的可以让你看到哪些类可以使用。Scikit-learn (sklearn) 总是会在新版本中添加 "Display "API,因此这里可以了解你的版本中有哪些可用的 API。

2024-05-07 23:14:04 1085 1

原创 科研学习|可视化——ggplot2版本的网络可视化

ggplot2是R语言中一个非常流行的数据可视化包,它也可以用于网络可视化。: 这个包的使用方法与传统的plot函数相似,易于使用。更多信息可在其官方页面查看:ggnet2: 这个包在ggplot2中增加了geom_net层,可以使用数据框作为输入,并且可以与Plotly交互,从而支持交互式图形。有关更多信息,请访问:geomnet on GitHub 和 geomnet on CRAN(首选): 这个包是三者中最灵活的,特别适合动态网络的可视化。它结合了ggplot2的优雅语法和网络数据的处理能力。

2024-05-07 22:52:03 1162

原创 人工智能|推荐系统——工业界的推荐系统之交叉

SENet 对离散特征做field-wise加权,如果有𝑚 个fields,那么权重向量是𝑚 维。FiBiNet可以理解为同时考虑了SENet 结合 Field 间特征交叉。之前提到过的召回、排序模型中的神经网络可以用任意网络结构;LHUC起源于语⾳识别,快⼿将LHUC应⽤在推荐精排,称作PPNet。深度交叉网络就是两个分支,一边是全连接,一边是交叉网络。线性模型预测是特征的加权和。交叉网络就是多个交叉层串起来的网络。可以通过矩阵分解减少模型参数量。Field 间特征交叉。

2024-05-06 10:16:41 285 3

原创 人工智能|推荐系统——工业界的推荐系统之排序

完播率通常和视频时长有关,不能直接把预估的完播率⽤到融分公式。训练时通常会遇到类别不平衡问题,可以考虑做采样。多目标有多个预估分数就可以有不同融合方式。进一步考虑对多个神经网络的输出进行加权。可以通过dropout的方式来解决极化。预测概率和实际是否交互求交叉熵损失。多目标模型就是要预测多个目标。几个专家就是放几个神经网络。视频完播用回归或分类都可以。通常做个调整再用到融分公式。双塔模型牺牲准确性换计算量。可以通过校准公式进行校准。精排模型的线上推理代价大。回顾一下推荐系统的链路。可能会出现极化的现象。

2024-05-06 09:36:10 279

原创 人工智能|推荐系统——工业界的推荐系统之召回

离散特征可以用Embedding Layers,连续特征可以归一化、分桶等处理。Swing额外考虑重合的⽤户是否来⾃⼀个⼩圈⼦,两个⽤户重合度⼤,则可能来⾃⼀个⼩圈⼦,权重降低。简单负样本可以是全体物品(考虑非均匀采样打压热门物品)或者Batch内负样本。⽤户兴趣动态变化,⽽物品特征相对稳定,事先存储物品向量𝐛,线上现算⽤户向量𝐚。困难负样本主要考虑被召回,但是被排序淘汰的样本。一个物品的两个向量可以通过一些特征变换得到。⽤索引,离线计算量⼤,线上计算量⼩。正样本的选择需要考虑冷门、热门物品。

2024-05-04 10:26:54 358

原创 人工智能|推荐系统——工业界的推荐系统之概要

但是随机分桶的问题在于无法做多个实验,因此通常考虑分层实验,同层互斥就是做的分桶,不同层正交可以避免不同实验之间的干扰,就可以做无数组实验。实验推全是逐步将新推荐策略应用到所有用户的过程,而反转实验是通过将部分用户回退到旧策略来评估新策略的有效性。粗排、精排会考虑用户特征、物品特征、统计特征来建模,同时考虑多个消费指标,然后得到一个最终的排序分数。通常会考虑用户的一些消费指标。

2024-05-02 23:41:55 215

原创 科研学习|研究方法——小波相干分析在时间序列分析中的应用

在某些情况下,两个时间序列中的共同行为是由一个时间序列驱动或影响另一个时间序列引起的,对于联合平稳时间序列,用于表征时间或频率相关行为的方法通常是互相关、(傅立叶)互谱和相干性。然而,时间序列通常是非平稳的,即它们的频率内容会随着时间而变化,对于这些时间序列,重要的是时频平面中的相关性或相干性。因此可以使用小波相干性来检测非平稳信号中常见的时间局部振荡,且在将一个时间序列视为影响另一个时间序列的情况下,可以使用小波交叉谱的相位来识别两个时间序列之间的相对滞后。

2024-04-28 16:03:34 1272 1

原创 科研学习|论文解读——CVPR 2021 人脸造假检测(论文合集)

deepfake的人脸伪造技术在互联网上广泛传播,并引起了严重的社会关注。近年来,如何检测此类伪造内容已成为一个研究热点,并提出了许多深度伪造检测方法。其中,大多数将深度伪造检测建模为普通的二元分类问题,即首先使用骨干网络提取全局特征,然后将其输入二元分类器(real/fake)。但由于这个任务中,真实图像和虚假图像之间的差异通常是微妙和局部的,我们认为这种香草解决方案不是最优的。在本文中,我们将深度伪造检测描述为一个细粒度的分类问题,并提出了一种新的多注意力深度伪造检测网络。

2024-04-28 15:42:39 1669

原创 人工智能|推荐系统——推荐系统经典模型YouTubeDNN

我们可以把召回模型的结构分为三层。输入层:输入层总共有四种特征。用户看过视频的 Embedding(embedded video watches)用户搜索的关键词的 Embedding 向量(embedded search tokens)用户所在的地理位置的特征(geographic embedding)适用于冷启动用户基本特征(example age, gender)

2024-04-27 22:11:16 676

原创 人工智能|推荐系统——推荐大模型最新进展

Embedding 已成为表示关于实体、概念和关联的复杂的信息的关键手段,并以简洁且有用的格式呈现。然而,它们通常难以直接进行解释。尽管下游任务利用这些压缩表示,但要进行有意义的解释通常需要使用降维或专门的机器学习可解释性方法进行可视化。本文解决了使这些嵌入更具解释性和广泛实用性的挑战,通过利用大语言模型(LLMs)直接与嵌入进行交互,将抽象向量转化为可理解的叙述。通过将嵌入注入LLMs,我们使复杂的嵌入数据可以进行查询和探索。

2024-04-27 21:56:52 1147

原创 人工智能|深度学习——多模态条件机制 Cross Attention 原理及实现

虽然之前写过 Attention 的文章,但现在回头看之前写的一些文章,感觉都好啰嗦,正好下一篇要写的 Stable Diffusion 中有 cross-attention,索性就再单拎出来简单说一下 Attention 吧,那么这篇文章的作用有两个:第一是为 Stable Diffusion 做补充,第二是为后续的 Vision Transformer 和 Swin Transformer 做铺垫。

2024-04-25 10:40:17 5627

原创 科研学习|论文解读——交叉注意力融合2024经典论文(配套模块和代码)

多模态学习和注意力机制是当前深度学习研究的热点领域之一,而,具有很大的发展空间和创新机会。作为多模态融合的一个重要组成部分,交叉注意力融合通过注意力机制在不同模块之间建立联系,促进信息的交流和整合,从而提升了模型处理复杂任务的能力,展现出其在多模态学习和聚类分析等领域的强大优势。本文盘点交叉注意力融合相关的13个技术成果,包含2024年最新的研究,这些模块的来源文章以及代码我都整理了,希望能给各位的论文添砖加瓦。

2024-04-25 10:21:39 2624

原创 心理学|变态心理学&健康心理学——躯体疾病患者的一般心理特点

患者除了内部器官有器质或功能障碍外,他们的自我感觉和整个精神状态也会发生变化。使人改变对周围事物的感受和态度,也可以改变患者对自身存在价值的态度。这种主观态度的改变,可以使患者把自己置于人际关系中的特殊位置上(好像已经或将要被人群抛弃)。

2024-04-22 16:28:47 246

原创 人工智能|tensorflow2.0框架——在TensorFlow2.0中使用TensorFlow1.0的代码

使用import tensorflow.compat.v1 as tf来导入TensorFlow 1.x的兼容性模块,并通过tf.disable_v2_behavior()来禁用TensorFlow 2.0的行为。

2024-04-21 16:53:20 178

原创 科研学习|论文解读——大模型综述!一文带你理清全球AI巨头的大模型进化史

大模型必然是未来很长一段时间我们工作生活的一部分,而对于这样一个与我们生活高度同频互动的“大家伙”,除了性能、效率、成本等问题外,大规模语言模型的安全问题几乎是大模型所面对的所有挑战之中的重中之重,机器幻觉是大模型目前还没有极佳解决方案的主要问题,大模型输出的有偏差或有害的幻觉将会对使用者造成严重后果。同时,随着 LLMs 的“公信度”越来越高,用户可能会过度依赖 LLMs 并相信它们能够提供准确的信息,这点可以预见的趋势增加了大模型的安全风险。除了误导性信息外,

2024-04-21 16:39:19 1689

原创 科研学习|科研软件——如何使用SmartPLS软件进行结构方程建模

SmartPLS是一种用于结构方程建模(SEM)的软件,它可以用于定量研究,尤其是在商业和社会科学领域中,如市场研究、管理研究、心理学研究等。

2024-04-14 22:47:43 1858 1

原创 人工智能|机器学习——基于机器学习的信用卡办卡意愿模型预测项目

通过本项目,我们使用了机器学习模型预测了客户的信用卡办卡意愿,并通过Django实现了数据的可视化展示。这使得银行和金融机构能够更好地理解客户行为模式,并做出相应的业务决策。

2024-04-13 22:12:09 770 1

原创 科研学习|可视化——Origin绘制相关性系数矩阵

Origin2021版本。

2024-04-12 23:19:42 1855

原创 科研学习|可视化——相关性结果的可视化

常用于度量两个或多个变量之间相关程度的有:如何把这些关联特征表达得更易于理解,那就需要借助将的方法了。在平时的论文阅读中我们经常看到有关相关性分析的内容,作者们根据自己的表达需求,也向我们展示了五花八门的绘图样式,比如:散点图、拟合线、相关矩阵(热力图)、相关性空间分布图等。接下来详细向大家介绍这些图表的特点。

2024-04-11 22:44:56 2655 1

原创 科研学习|论文解读——基于旅游知识图谱的游客偏好挖掘和决策支持(IPM,2023)

目前,旅游管理研究的重点是通过对异构用户生成的内容进行广泛分析,来理解旅游偏好的波动,制定有针对性的发展策略。然而,鉴于在线景点评论涉及过多的混合和无形维度,广泛使用的无监督文本挖掘可能是不完整的或不准确的。此外,现有文献通常局限于几个旅游目的地和起源地的某些类型的景点,很难保证具有全面的洞察力。为了克服这些局限性,本研究提出了一种新的知识图谱驱动框架,该框架涉及旅游知识图谱(TKG)的系统构建和深入的研究与推理。

2024-04-10 21:48:56 1347 2

原创 科研学习|研究方法——定性数据的定量编码方法

数据可以根据不同的属性和特征进行分类。除了上述常见的数据分类方式,还可以根据数据的结构、性质和用途等进行更详细的分类,例如结构化数据、半结构化数据和非结构化数据等。今天我们要讨论的内容是--分类型数据:表示为不同的类别或标签,通常用于描述某个事物的属性或特征。例如性别、学历、职业等。即定性数据或者叫属性数据。

2024-04-09 22:25:39 1366 1

原创 科研学习|研究方法——扎根理论三阶段编码如何做?

主题标引”意指对文献内容进行分析, 然后对文献所表达的中心思想、所讨论的基本问题以及研究的对象等进行提取, 以形成主题概念, 然后在此基础上把可检索的主题词表示出来, 再将这些主题词按一定顺序 (如字顺) 排列, 对论述相同主题内容的文献加以集中, 从而提高文献的查全率与查准率。而在主题标引的过程中, 主题词的提取是非常关键的步骤之一, 但目前国内对主题词提取的相关实践, 一方面较偏重主题词的词义本身, 忽略主题词之间可能存在某种相互链接的“关系”;

2024-04-07 22:45:52 4802 1

原创 科研学习|科研软件——SPSS统计作图教程:多组折线图(≥3个变量)

研究者想研究45-65岁不同性别人群中静坐时长和血胆固醇水平的关系,分别招募50名男性和女性(gender)询问其每天静坐时长(time,分钟),并检测其血液中胆固醇水平(cholesterol, mmol/L),部分数据如图1。研究者该如何绘图展示这两者间的关系呢?

2024-04-07 10:52:03 1504 1

基于Transformer模型构建的聊天机器人-Catalina.zip

transformer

2024-06-05

基于Transformer的文本情感分类.zip

transformer

2024-06-05

基于Pyotrch的多种CV-Transformer网络复现.zip

transformer

2024-06-05

基于Transformer的机器翻译系统.zip

transformer

2024-06-05

基于HuggingFace开发的Transformers库,使用BERT构建模型完成一基于中文语料的二分类模型.zip

transformer

2024-06-05

人工智能-Transformer-智探云平台源码,基于Transformer的微博谣言检测,包含前后端开发实现

智探云平台源码,基于Transformer的微博谣言检测,包含前后端开发实现 基于Python3.8+Pytorchh==1.10.2+cuda==11.1+torchtext==0.11.2+Django 模型训练搭建基于Interpretable Rumor Detection in Microblogs by Attending to User Interactions 数据来源于Github公开数据集 权重以及预训练模型、测试数据 启动项目:python manage.py runserver

2024-06-05

人工智能-Transformer-使用ONNXRuntime部署LSTR基于Transformer的端到端实时车道线检测

使用ONNXRuntime部署LSTR基于Transformer的端到端实时车道线检测,包含C++和Python两个版本的程序。 onnx文件的大小只有2.93M,可以做到实时性轻量化部署。 起初,我想使用opencv做部署的,但是opencv的dnn模块读取onnx文件出错, 无赖只能使用onnxruntime做部署了。

2024-06-05

人工智能-Transformer-基于Transformers复现点云分割任务,并使用HAQ算法进行自动量化压缩,几乎不影响精度

预训练: bash run/pretrain.sh 强化学习搜索: bash run/search.sh 量化后微调: bash run/finutune.sh 解决问题记录: 梯度更新不一致问题:原因是每次根据loss更新参数时梯度没有清零,使用的是累计梯度,添加'self.optimizer.zero_grad()'即可 Acc等指标计算错误问题:在计算mIOU时开始是使用一个batch的数据求mIOU再最后取平均,这样一个batch某些类数据量可能为0导致计算有偏差,改成最后一起求mIOU即可 模型量化后Acc不变的问题:这个问题最难解决,最后发现是transform里面linear往往参数较少,使用kmeans聚类算法(指定聚类中心数目)导致某些聚类中心没有数据,对应的mask产生0值;在使用这些mask更新参数时则会导致模型参数更新为nan,输出nan,使得参数不再更新,模型输出每次都完全相同

2024-06-05

基于中文预训练字向量finetune的Bert与BiLSTM模型的网络

基于中文预训练字向量finetune的Bert与BiLSTM模型的网络 3 模型说明 共实现了BiLSTM, BiLSTMCRF, Bert, BertCRF, BertBiLSTMCRF Bert部分参考了pytorch_transformers,预训练模型为中文预训练BERT-wwm BiLSTM的预训练词向量使用的是 word2vec的预训练词向量(Baidu Encyclopedia 百度百科 + Word + Character + Ngram 300d ) 可在 Chinese Word Vectors 中文词向量 下载 CRF模型部分参考了SLTK 模型训练 参数配置在configs下,下载数据集和预训练模型和词向量,放在指定位置,修改参数,运行 train.sh 模型预测 训练完成后,配置config.yml内的model_class参数,运行 python main.py --task eval

2024-05-27

基于BiLSTM的文本分类器

基于BiLSTM的文本分类器 1. 模型使用 i) 训练模型 首先根据需要修改main.py文件中flags参数设置。将mode修改为train,运行: python main.py ii) 测试模型 修改mode为test,运行: python main,py iii) 使用模型 需要自行实现solver.Solver.run()函数,注意修改batch_size=1。 2. 主要函数说明 i) prepro create_vocabulary: 生成word2idx和idx2word。(可针对自己的数据集仿写该代码) create_yelp_ids: 读取yelp数据文件生成ids文件。(可针对自己的数据集仿写该代码) ii) model.BiLSTM: build_model: 构建具有带训练参数的模型节点。 build_graph: 构建计算图。 iii) solver.Solver: load_data: 从ids文件中读取数据 prepare_text_batch: 将长短不一的输入文本padding为相同长度的输入。 train: 使用train数据集训练模型,根

2024-05-27

基于ALBERT-BiLSTM-CRF的中文命名实体识别

基于ALBERT-BiLSTM-CRF的中文命名实体识别 目录结构 data:训练数据集 models:构造的模型 result:存放结果 ckpt:存放模型的文件 log:日志 conlleval.py:计算模型性能用 conlleval.py:计算模型性能用 data_helper.py: 数据处理 run.py: 执行程序 train_val_test.py: 训练、验证和测试 utils.py: 包含一些用到的功能

2024-05-27

基于pytorch+bilstm-crf的中文命名实体识别

基于pytorch+bilstm_crf的中文命名实体识别 文件说明 --checkpoints:模型保存的位置 --data:数据位置 --|--cnews:数据集名称 --|--|--raw_data:原始数据存储位置 --|--|--final_data:存储标签、词汇表等 --logs:日志存储位置 --utils:辅助函数存储位置,包含了解码、评价指标、设置随机种子、设置日志等 --config.py:配置文件 --dataset.py:数据转换为pytorch的DataSet --main.py:主运行程序 --main.sh:运行命令 --models.py:模型 --process.py:预处理,主要是处理数据然后转换成DataSet 运行命令 python main.py --data_dir="../data/cnews/final_data/" --log_dir="./logs/" --output_dir="./checkpoints/" --num_tags=33 --seed=123 --gpu_ids="0" --max_seq_len=128 --

2024-05-27

基于BiLSTM+CRF 和膨胀卷积 实现

基于BiLSTM+CRF 和膨胀卷积 实现

2024-05-27

基于BiLSTM和Self-Attention的文本分类、表示学习网络

本项目的实现与原文有一点小差异,本实现在最后获得句子的表示(图中M矩阵)后直接过softmax分类器了,而不是原文所说的两层MLP,这里主要是考虑到要削弱末级分类器的复杂度,强迫模型学习到更有效的表示(图中M矩阵),这样有助于下游任务

2024-05-22

采用BiLSTM+CRF模型的中文命名实体识别(基于keras实现和tensorflow实现)

数据集: Boson数据集(6种实体类型) 1998年人民日报标注数据集(人名、地名、组织名三种实体类型) MSRA微软亚洲研究院开源数据集(人名、地名、组织名三种实体类型)

2024-05-22

中文命名实体识别,采用bilstm+crf模型基于Pytorch实现

中文命名实体识别,采用bilstm+crf模型基于Pytorch实现 bilstm+crf实现的命名实体识别,开箱即用 bisltm+crf的实现是在参考pytorch的官方教程的基础上,全部换成了矩阵并行操作 需要下载sogou预训练词向量,地址:http://www.sogou.com/labs/resource/cs.php 将下载的预训练词向量放入ResumeNER/data文件夹下面 训练完后进行测试:python extract.py --text "随便输入个文本内容"

2024-05-22

基于albert-bilstm-crf架构利用keras框架实现NER

需要安装keras-contrib 数据集 人民日报语料集,实体为人名、地名、组织机构名,数据集位于data/example.*; 说明 config.json:配置文件 MAX_SEQ_LEN:为albert的最大输入序列长度 tags:实体标注符号,最好从1开始,不要从0开始编码。 albert_model_train:模型训练脚本 albert_model_prdict:模型预测脚本

2024-05-22

基于Bert-Position-BiLSTM-Attention-CRF-LSTMDecoder的法律文书要素识别

基于Bert_Position_BiLSTM_Attention_CRF_LSTMDecoder的法律文书要素识别 https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CMFD&dbname=CMFDTEMP&filename=1021517817.nh&v=TJenSmKXu1hVfrMJ0IPfDGSWBuwNmuS6lfzuobzusC8XnDXsKf6SK0%25mmd2BkVWLlBM97 法律文书要素的识别方法研究与实现

2024-05-21

基于Bert+BiLSTM+CRF的中文命名实体识别

基于BERT+BiLSTM+CRF的中文命名实体识别 (pytorch实现) 基本环境: python 3.8 pytorch 1.7.1 + cu110 pytorch-crf 0.7.2

2024-05-21

基于BiLSTM-CRF网络的中文电子病历命名实体识别

基于BiLSTM-CRF网络的中文电子病历命名实体识别

2024-05-21

人工智能-深度学习-Transformer-基于transformer的指针生成网络

运行 先是tokenizer python main.py --original_data_dir E:\0000_python\point-genge\point-generate\zh\data --tokenized_dir ./tokenized_single E:\0000_python\point-genge\point-generate\zh\datal是我存放新闻数据的地方 这步需要挺多时间的。 然后进入new-point-generate-zh python main.py --token_data xxx/tokenized --use_coverage --pointer_gen --do_train --do_decode xxx_toenized 是存放分词后的文件夹 #效果 rouge-1 39% rouge-2 15% rouge-l 37%

2024-07-21

人工智能-深度学习-Transformer-基于Transformer的生成式文本摘要

使用说明 大部分超参数可以在 hyper_parameters.py 文件中进行设置。 训练 设置完参数之后,运行 train.py 文件。 简单测试效果 运行 summarize.py 文件,按照提示输入原文,可根据训练结果调整测试时加载的模型轮次。

2024-07-21

人工智能-点击率预估-通过对于现有开源分布式机器学习工具的整合(主要是基于参数服务器的logistic regression,x

通过对于现有开源分布式机器学习工具的整合(主要是基于参数服务器的logistic regression,xgboost,FFM,FM ),打造一个工业级的,可以线上使用的点击率预估流水线

2024-07-09

人工智能-机器学习-葵花8号卫星基于XGboost反演雾浓度与云顶高度

葵花8号卫星基于XGboost反演雾浓度与云顶高度

2024-07-09

人工智能-XGBoost-模型训练-基于xgboost调参、模型训练,以及对各模型之间性能比较进行画图

基于xgboost调参、模型训练,以及对各模型之间性能比较进行画图

2024-07-09

人工智能-机器学习-多因子选股-基于机器学习方法构建多因子选股模型:RandomForest, GBDT, Adaboots,

成果 最优的随机森林模型:累计收益60%左右,经择时策略风险控制后,最大回撤率控制在9%左右,夏普率为0.9左右。 单因子测试 确定一个单因子测试文件,定义待测因子列表,执行多次单因子runtest。 保留回测报告,获取字段,保存在CSV文件。 结果可视化。 筛选得到最优因子。 因子做共线性分析,获取最终因子。 官方提示: 单因子问题,可以手动实现一下,或者可以弱化一下,通过间接的方法去实现这个问题,并不一定要实现一个完整的回测框架才能解决单因子分析的问题 选用机器学习模型回测 特征和标签构建。 等权重线性模型。 建立baseline models,尝试使用多种模型。SVR,RNN(LSTM),xgboost, random_forest,adaboost... 交易逻辑确定。 回测结果记录,分析。

2024-07-09

人工智能-问答系统-意图识别-基于RNN、CNN、XGboost的问答系统意图识别模块

基于RNN、CNN、XGboost的问答系统意图识别模块

2024-07-09

人工智能-代码审计-一个基于 ChatGPT 的开源代码审计平台

cd ChatGPTScan-SAST 然后在 deploy/docker-compose.yml 和 web/config.yaml 中配置数据库连接信息,要求两者一致 # deploy/docker-compose.yml db: image: mysql:latest container_name: db environment: MYSQL_ROOT_PASSWORD: password MYSQL_DATABASE: ChatGPTScan volumes: - ./init.sql:/docker-entrypoint-initdb.d/init.sql ports: - "3306:3306" # web/config.yaml db: ip: db port: 3306 username: root password: password database: ChatGPTScan 然后启动项目 cd deploy docker-compose up -d 访问 localhost:14433 即

2024-07-01

人工智能-智能问答-基于 Java 使用 Spring Boot 3 和 JDK 17,支持的功能有 ChatGPT、OpenA

介绍 描述:ai-beehive 项目的名字取自蜂巢,这源于我们构建房间的方式,即通过图纸塑造出独特的模块化房间,每个房间都是一个具有个性的聊天室,类似于蜂巢中的单独蜂窝。六边形的蜂窝设计启示我们,系统具有无限的扩展能力。在我们的 ai-beehive项目中,我们提供了一种方式,即通过添加新的图纸来扩展和丰富房间类型.

2024-07-01

人工智能-ChatGPT-chatgpt for Excel ,基于ExcelDNA开发

本工具基于ExcelDna开发,无需复杂的VSTO和VBA环境,只需双击即可安装使用 兼容Office Excel 和 WPS (强烈建议使用金山公司开发的WPS,插件运行的更加完美!)

2024-07-01

人工智能-ChatGPT-基于 ChatGPT API 的划词翻译浏览器插件和跨平台桌面端应用

特征 它提供三种模式:翻译、润色和摘要。 我们的工具允许在 55 种不同的语言中相互翻译、润色和总结。 支持流媒体模式! 它允许用户自定义他们的翻译文本。 一键复制 文字转语音 (TTS) 适用于所有平台(Windows、macOS 和 Linux)的浏览器和桌面 支持截图翻译 支持词汇书,以及支持根据词汇书中的单词生成记忆辅助工具 同时支持 OpenAI 和 Azure OpenAI 服务

2024-07-01

人工智能-文本分类-Chinese news classification based on TextCNN 基于TextCNN

使用示范: python run.py -t train -g 1 -e 32 #进行训练,使用GPU,epoch为32 python run.py -t test -g 1 #进行测试,使用GPU python run.py -t webtest #进行测试,使用web GUI界面(默认使用GPU)

2024-06-24

人工智能-文本分类-基于tf-idf+SVM的长文本分类、基于textCNN的短文本分类

基于tf-idf+SVM的长文本分类、基于textCNN的短文本分类

2024-06-24

人工智能-文本分类-基于Pytorch的文本分类框架,支持TextCNN、Bert、Electra等

Model 非预训练类模型: FastText TextCNN TextRNN TextRCNN Transformer 预训练类模型 Bert Albert Roberta Distilbert Electra XLNet

2024-06-24

人工智能-情感识别-MLPClassify.ipynb仅需要sklearn以及pytorch包即可,打开文件后全部运行即可

环境要求: python:3.x tensorflow 1.x 运行 运行训练:python train.py 运行验证:python eval.py

2024-06-24

人工智能-文本分类-基于MLP和TextCNN的文本分类模型

MLPClassify.ipynb仅需要sklearn以及pytorch包即可,打开文件后全部运行即可。 TextCNNClassify.ipynb需要安装spaCy库以及其英文预料包,可以参见Install spaCy · spaCy Usage Documentation官网下载,也是打开文件后全部运行即可。 EnsembleClassify为集成模型,其中训练了以上两个模型,并进行了整合,打开后全部运行即可。 运行文件后会在exp1data文件夹中生成三个output文件:mlpoutput.txt, textcnnoutput.txt, ensembleoutput.txt,且在output文件夹中有我已经预测好的测试集,可以进行对比。

2024-06-24

人工智能-残差神经网络-基于Keras+Tensorflow搭建,提供ResNet50神经网络的图片分类平台

基于Keras+Tensorflow搭建,提供ResNet50神经网络的图片分类平台

2024-06-17

人工智能-知识图谱-基于知识图谱与人工神经网络的简历推荐系统

简历相关的资料很多小伙伴发邮件跟我要,这里统一回复: 由于是真实数据集,涉及数据隐私,所以无法提供,非常抱歉。 技术栈前端使用echarts.js(之后有时间会考虑用vue改写一下), 后端基于Python Django; 特征处理阶段,技能相关特征基于知识图谱处理,图谱构建使用neo4j; 系统的流程是先做二分类筛选,再给分类为正的样本进行排序; 二分类模型基于DNN,基于Keras训练, 线上分类时直接调用已经训练好保存为h5格式的model文件; 排序函数将随机森林的特征重要性作为基础排序指标;

2024-06-17

人工智能-扩散模型-基于扩散模型stable diffusion的T恤图案设计和基于HR-VITON的虚拟试衣项目

计算机视觉课程设计项目:基于Stable Diffusion的T-shirt图案设计和虚拟换衣技术 基本实现方法: Stable Diffusion结合Dreambooth实现文本指导下的T-shirt图案生成; 利用U2NET模型对人像和衣服掩码进行分割; 借鉴HR_VITON框架实现虚拟换衣。

2024-06-12

人工智能-生成式AI-基于知识图谱和生成式AI的智能食谱推荐系统

基于知识图谱和生成式AI的智能食谱推荐系统 知识图谱 生成式AI 智能食谱推荐 推荐系统

2024-06-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除