- 博客(53)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 大模型学习笔记（一）：部署ChatGLM模型以及stable-diffusion模型
本文以趋动云平台为例，详细介绍下如何通过平台提供的在线开发环境，直接在云端编写、运行代码，并使用GPU资源进行加速。本教程将学习云算力资源的使用方式，并给出了两个AI项目实践：- 用免费GPU创建属于自己的聊天GPT- 用免费GPU部署自己的stable-diffusion
2024-03-13 22:50:39
1290
1
原创 GNN学习7：按需获取的数据集类的创建
超大规模数据集类的创建在一些应用场景中，数据集规模超级大，我们很难有足够大的内存完全存下所有数据。需要一个按需加载样本到内存的数据集类。Dataset基类简介在PyG中，我们通过继承torch_geometric.data.Dataset基类来自定义一个按需加载样本到内存的数据集类。继承torch_geometric.data.InMemoryDataset基类要实现的方法，继承此基类同样要实现，此外还需要实现以下方法：len()：返回数据集中的样本的数量。get()：实现加载单个图的操作。注
2021-07-09 16:22:27
872
1
原创 GNN学习6
基于图神经网络的图表征学习方法引言图表征学习要求在输入**节点属性、边和边的属性（如果有的话）**得到一个向量作为图的表征，基于图表征进一步的我们可以做图的预测。基于图同构网络（Graph Isomorphism Network, GIN）的图表征网络是当前最经典的图表征学习网络，我们将以它为例，通过该网络的实现、项目实践和理论分析，三个层面来学习基于图神经网络的图表征学习方法。提出图同构网络的论文：How Powerful are Graph Neural Networks? 基于图同构网络（GI
2021-07-05 16:14:08
264
原创 GNN学习5：超大图上的节点表征学习
超大图上的节点表征学习参考资料:论文Cluster-GCN: An Efficient Algorithm for Training Deep andLarge Graph Convolutional Networkteam-learning-nlp图神经网络在超大图上进行图神经网络的训练仍然具有挑战。普通的基于SGD的图神经网络的训练方法存在两个问题随着图神经网络层数增加，计算成本呈指数增长的问题，保存整个图的信息和每一层每个节点的表征到内存（显存）而消耗巨大内存（显存）空间的问题。虽然
2021-07-01 16:47:11
322
原创 GNN学习4：节点预测与边预测
数据完全存于内存的数据集类InMemoryDataset基类简介构造函数的输入参数：root ：根文件夹，它指示数据集应该被保存在哪里。在根目录下至少有两个文件夹：1.一个文件夹为raw_dir ，它用于存储未处理的文件，从网络上下载的数据集文件会被存放到这里。2.另一个文件夹为processed_dir ，处理后的数据集被保存到这里。transform：可以为None，transform 函数接受 Data对象为参数，对其转换后返回。此函数在每一次数据访问时被调用，所以它应该用于数据增广（Data
2021-06-27 07:31:06
1208
1
原创 基于图神经网络的节点表征学习
基于图神经网络的节点表征学习通过节点分类任务来比较MLP和GCN,GAT（两个知名度很高的图神经网络）三者的节点表征学习能力一、加载数据from torch_geometric.datasets import Planetoidfrom torch_geometric.transforms import NormalizeFeaturesdataset = Planetoid(root='./dataset', name='Cora',transform=NormalizeFeatures())
2021-06-23 14:11:48
112
原创 图神经网络学习2：消息传递范式
在上一篇主要学习了图论的基本概念、环境安装以及PyG中Data类的用法，本次学习主要分为：MessagePassing类和GCNConv类的学习，以及在继承MessagePassing基类的子类覆写message(),aggreate(),message_and_aggreate()和update()方法的规范。一、消息传递范式介绍消息传递意味着kkk层的xix_ixi节点参数如何由k−1k-1k−1层的节点参数计算得到。首先在k−1k-1k−1层，将xix_ixi节点的邻居节点参数通过某种函数进
2021-06-19 15:29:30
330
原创 图神经网络学习1
图结构数据一、图的表示1、节点（v）、边（e）。节点和边的信息可以是类别型（标签）或数值型（属性）。2、图的邻接矩阵（A），有（无）向图、有（无）权（W）图二、图的属性1、节点的度（d、dind_{in}din、doutd_{out}dout）、邻接节点（N(vi)N(v_i)N(vi)）、行走（walk(v1,v2)walk(v_1,v_2)walk(v1,v2)）、路径2、定理：邻接矩阵的nnn次方矩阵的每一个元素表示n步之后行走的个数3、子图、连通分量、连通图、最短路径4、直
2021-06-15 15:37:13
422
原创 nlp文本分类task2多任务预训练模型优化
根据多次实验，发现有以下几个方式可以将模型预测分数提升：1.模型预训练。利用比赛数据及相同领域数据对模型进行预训练。2.去掉数据权重及损失值权重。实验表明，不加入数据权重及损失值权重（只将三个任务损失值权重相加）的效果反而会更好。3.采用更大的模型进行训练。Roberta_large模型要优于bert模型，xlnet模型要优于Roberta_large模型。4.利用伪标签进行训练。训练好的模型预测测试集。将预测结果加入到训练集中重新进行训练。...
2021-02-25 21:12:09
440
原创 NLP文本分类task1 docker安装与答案提交
比赛全流程体验NLP中文预训练模型泛化能力挑战赛训练环境介绍机器信息：NVIDIA-SMI 440.33.01 Driver Version: 440.33.01 CUDA Version: 10.2pytorch 版本 1.6.0机器信息：NVIDIA-SMI 460.32.03 Driver Version: 460.32.03 CUDA Version: 11.2pytorch 版本 1.7.1python依赖：pip install transformers
2021-02-21 21:39:44
159
原创 Datawhale 知识图谱组队学习 之 Task 5 Neo4j 图数据库查询
Datawhale 知识图谱组队学习 之 Task 5 Neo4j 图数据库查询github 地址：特别鸣谢：QASystemOnMedicalGraph目录Datawhale 知识图谱组队学习 之 Task 5 Neo4j 图数据库查询目录一、 Neo4介绍1.1 Neo4介绍1.2 Cypher 介绍1.3 Neo4j 图数据库 查询二、 基于知识图谱的问题系统 主体类 AnswerSearching 框架介绍三、 代码分模块介绍参考资料一、 Neo4介绍
2021-01-17 19:24:24
150
原创 Datawhale 知识图谱组队学习 之 Task 4 用户输入-＞知识库的查询语句
Datawhale 知识图谱组队学习 之 Task 4 用户输入->知识库的查询语句github 地址：特别鸣谢：QASystemOnMedicalGraph目录Datawhale 知识图谱组队学习 之 Task 4 用户输入->知识库的查询语句目录一、引言二、什么是问答系统？2.1 问答系统简介2.2 Query理解2.2.1 Query理解介绍2.2.2 意图识别2.2.3 槽值填充三、任务实践四、 主体类 EntityExtractor
2021-01-15 18:03:16
162
原创 task03
Datawhale 知识图谱组队学习 之 Task 3 Neo4j图数据库导入数据github 地址：特别鸣谢：QASystemOnMedicalGraph目录Datawhale 知识图谱组队学习 之 Task 3 Neo4j图数据库导入数据目录一、引言二、Neo4j简介2.1 基本概念2.2 索引2.3 Neo4j的优势2.4 环境部署2.4.1 运行环境2.4.2 neo4j安装及使用三、Neo4j 数据导入3.1 数据集简介3.2 数据导入3.
2021-01-13 20:40:38
95
原创 Datawhale 知识图谱组队学习 之 Task 2 基于医疗知识图谱的问答系统操作介绍
Datawhale 知识图谱组队学习 之 Task 2 基于医疗知识图谱的问答系统操作介绍github 地址：特别鸣谢：QASystemOnMedicalGraph目录Datawhale 知识图谱组队学习 之 Task 2 基于医疗知识图谱的问答系统操作介绍目录一、引言二、运行环境三、搭建知识图谱四、启动问答测试参考资料一、引言该项目主要分为两部分：第一部分：搭建知识图谱。该部分的具体讲解将在 Datawhale 知识图谱组队学习 之 Task 3 Neo4j
2021-01-12 18:09:59
235
原创 Datawhale 知识图谱组队学习 之 Task 1 知识图谱介绍
Datawhale 知识图谱组队学习 之 Task 1 知识图谱介绍参考链接：Datawhale 知识图谱组队学习 之 Task 1 知识图谱介绍 @[TOC]一、知识图谱简介1.1 引言1.2 什么是知识图谱呢？1.2.1 什么是图（Graph）呢？1.2.2 什么是 Schema 呢？1.3 知识图谱的价值在哪呢？二、怎么构建知识图谱呢？2.1 知识图谱的数据来源于哪里？2.2 信息抽取的难点在哪里？2.3 构建知识图谱所涉及的技术？2.4、知识图谱的具体构建
2021-01-11 14:51:35
161
原创 强化深度学习task06连续动作空间和DDPG
一、连续动作和离散动作连续动作：动作是连续的浮点数比如速度、推力、角度、电压等离散动作：动作是离散值，比如上下左右等。求解方法：离散动作：softmax映射连续动作：tanh连续映射二、DDPG是DQN的扩展版，可扩展至连续空间actor-critic结构演员输出动作，并根据评论家的评判修改动作策略，评论家根据分数（观众反应）得出动作评判标准...
2020-11-08 21:16:40
736
原创 深度强化学task05
一、sparse reward如果是复杂的问题很难会得到reward，所以要在中间的时间点给一些reward，以引导行为，但是中间加入的reward不一定就会对最终任务的完成有利，因此需要增加一个新的reward这里面新的reward就是ICM，它的作用是给mechine加上“好奇心”。下面看怎么加ICM这里面看两个state的差值，如果差值越大则奖励越大。这里面的network是单独训练的网络。然后又有一个改进版的这里面feature extractor的作用是把state里面无关紧要的东
2020-11-05 21:18:30
150
原创 强化深度学习task-04
Q-learning参考资料Q-learning (Basic Idea)：https://www.bilibili.com/video/BV1MW411w79n?p=3Q-learning (Advanced Tips)： https://www.bilibili.com/video/BV1MW411w79n?p=4Q-learning (Continuous Action)：https://www.bilibili.com/video/BV1MW411w79n?p=5Actor-Critic：
2020-11-03 21:24:43
117
原创 深度强化学习 task03-2
1. 蒙特卡洛MC和时序差分TD的区别蒙特卡洛（回合更新）：一个序列产生之后计算总收益，然后再更新时序差分（单步更新）：每走一步进行一次更新强化学习主要采用的是蒙特卡洛的回合更新的方式2. 具体计算方法具体代码为计算输出action时用到类似交叉熵损失的方法，但由于真实的action未知，因此在交叉熵前乘一个权重（奖励分数），分数越高的输出这样的action概率越大，代码为3.on policy 和 off policyon policy:一边互动一边学习off policy:先
2020-10-26 23:38:02
132
原创 深度强化学习（policy gradient） task03-1
上次提到了在深度强化中的几个概念，现在来看一看他们的关系：环境——>状态1——>行为1——>环境——>状态2——>行为2等等以一个游戏的强化学习过程为例：所有状态和行为组成的序列被称为trajectory（轨迹）某种轨迹出现的概率为奖励R：下面要求R的梯度policy gradient：迭代公式为具体的步骤是计算时，需要最小化因此，在tf或torch中，求上式的梯度并乘以权重（R），并加到这个式子里不断迭代（牛顿法）tip1: 为了不
2020-10-26 22:16:09
186
原创 深度强化学习task02
上次提到了在深度强化中的几个概念，现在来看一看他们的关系：环境——>状态1——>行为1——>环境——>状态2——>行为2等等所有状态和行为组成的序列被称为trajectory（轨迹）
2020-10-23 23:36:11
129
原创 强化学习基础task1 2020-10-20
因为这两天比较忙，没时间使用电脑，所以先占个位，等有空补上看到的几个名词：1. agent :未完成某个最终目标的模型2. environment:环境，模型可对环境进行感知从而进行反馈3. policy:指导模型根据当前状态而采取某个行动的判别式4. state:状态，模型的某种状态5. action:行动，每次行动后会得到一个新的状态...
2020-10-20 20:16:43
39
原创 task04查找2
滑动窗口概念滑动窗口算法可以用以解决数组/字符串的子元素问题，它可以将嵌套的循环问题，转换为单循环问题，降低时间复杂度。算法滑动窗口算法可以将嵌套的循环问题，转换为单循环问题，降低时间复杂度。示例给定一个整数数组，计算长度为 ‘k’ 的连续子数组的最大总和。根据示例，当 k 等于 2 时，我们维护一个长度为 2 的窗口。窗口内的值的和保存在一个变量中；通过不断的往右滑动来算出当前窗口的值，并与保存的最大值作比较；当窗口滑动到最右边时终止滑动；我们在一个循环中计算出了长度为 ‘k’ 的子
2020-08-28 23:24:18
216
原创 task03 查找1
01 35. 搜索插入位置：https://leetcode-cn.com/problems/search-insert-position/给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。你可以假设数组中无重复元素。class Solution: def searchInsert(self, nums: List[int], target: int) -> int: if not nums:
2020-08-25 17:57:14
155
原创 task2动态规划
01 5. 最长回文子串：https://leetcode-cn.com/problems/longest-palindromic-substring/给定一个字符串 s，找到 s 中最长的回文子串。你可以假设 s 的最大长度为 1000。class Solution: def longestPalindrome(self, s: str) -> str: if s == '': return '' if len(s) == 1:
2020-08-22 17:25:17
72
原创 Untitled
task01 分治法1.50. Pow(x, n): https://leetcode-cn.com/problems/powx-n/实现 pow(x, n) ，即计算 x 的 n 次幂函数。class Solution: def myPow(self, x: float, n: int) -> float: if n == 0: return 1 elif n == 1: return x
2020-08-17 17:53:10
168
原创 fork from Datawhale零基础入门NLP赛事 - Task6 基于深度学习的文本分类3-BERT
BERT微调将最后一层的第一个token即[CLS]的隐藏向量作为句子的表示，然后输入到softmax层进行分类。预训练BERT以及相关代码下载地址：链接: https://pan.baidu.com/s/1zd6wN7elGgp1NyuzYKpvGQ 提取码: tmp5[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mDWKY0Tw-1596553583292)(img/bert.png)]import loggingimport randomimport nu
2020-08-04 23:06:38
394
原创 fork from Datawhale零基础入门NLP赛事 - Task5 基于深度学习的文本分类2-1Word2Vec
使用gensim训练word2vec本DEMO只使用部分数据，使用全部数据预训练的词向量地址：链接: https://pan.baidu.com/s/1ewlck3zwXVQuAzraZ26Euw 提取码: qbprTask5 基于深度学习的文本分类2在上一章节，我们通过FastText快速实现了基于深度学习的文本分类模型，但是这个模型并不是最优的。在本章我们将继续深入。基于深度学习的文本分类本章将继续学习基于深度学习的文本分类。学习目标学习Word2Vec的使用和基础原理学习使用Tex
2020-07-31 21:58:53
324
原创 fork from Datawhale零基础入门NLP赛事 - Task4 基于深度学习的文本分类1-fastText
在上一章节，我们使用传统机器学习算法来解决了文本分类问题，从本章开始我们将尝试使用深度学习方法。Task4 基于深度学习的文本分类1-fastText与传统机器学习不同，深度学习既提供特征提取功能，也可以完成分类的功能。从本章开始我们将学习如何使用深度学习来完成文本表示。学习目标学习FastText的使用和基础原理学会使用验证集进行调参文本表示方法 Part2现有文本表示方法的缺陷在上一章节，我们介绍几种文本表示方法：One-hotBag of WordsN-gramTF-ID
2020-07-27 09:07:22
302
原创 fork from Datawhale零基础入门NLP赛事 - Task3 基于机器学习的文本分类
在上一章节，我们对赛题的数据进行了读取，并在末尾给出了两个小作业。如果你顺利完成了作业，那么你基本上对Python也比较熟悉了。在本章我们将使用传统机器学习算法来完成新闻分类的过程，将会结束到赛题的核心知识点。Task3 基于机器学习的文本分类在本章我们将开始使用机器学习模型来解决文本分类。机器学习发展比较广，且包括多个分支，本章侧重使用传统机器学习，从下一章开始是基于深度学习的文本分类。学习目标学会TF-IDF的原理和使用使用sklearn的机器学习模型完成文本分类机器学习模型机器学习是
2020-07-25 17:51:22
188
原创 fork from Datawhale零基础入门NLP赛事 - Task2 数据读取与数据分析
在上一章节，我们给大家简单介绍了赛题的内容和几种解决方案。从本章开始我们将会逐渐带着大家使用思路1到思路4来完成本次赛题。在讲解工具使用的同时，我们还会讲解一些算法的原理和相关知识点，并会给出一定的参考文献供大家深入学习。Task2 数据读取与数据分析本章主要内容为数据读取和数据分析，具体使用Pandas库完成数据读取操作，并对赛题数据进行分析构成。学习目标学习使用Pandas读取赛题数据分析赛题数据的分布规律数据读取赛题数据虽然是文本数据，每个新闻是不定长的，但仍然使用csv格式进行存储
2020-07-22 13:29:51
147
原创 fork from Datawhale零基础入门NLP赛事 - Task1 赛题理解
本章将会对新闻文本分类进行赛题讲解，对赛题数据进行说明，并给出解题思路。赛题理解赛题名称：零基础入门NLP之新闻文本分类赛题目标：通过这道赛题可以引导大家走入自然语言处理的世界，带大家接触NLP的预处理、模型构建和模型训练等知识点。赛题任务：赛题以自然语言处理为背景，要求选手对新闻文本进行分类，这是一个典型的字符识别问题。学习目标理解赛题背景与赛题数据完成赛题报名和数据下载，理解赛题的解题思路赛题数据赛题以匿名处理后的新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本
2020-07-20 17:45:12
134
原创 综合练习
一、端午节的淘宝粽子交易import pandas as pdimport numpy as npdf1 = pd.read_csv('zongzi.csv')df1.head() 标题 价格 付款人数 店铺 发货地址 0 五芳斋粽子礼盒 心悦+18只装咸鸭蛋组合端午节礼品团购嘉兴肉粽子 129 6人付款 五芳
2020-07-01 14:18:53
142
原创 第9章+时序数据
第9章 时序数据import pandas as pdimport numpy as np一、时序的创建1. 四类时间变量现在理解可能关于③和④有些困惑，后面会作出一些说明名称描述元素类型创建方式① Date times（时间点/时刻）描述特定日期或时间点Timestampto_datetime或date_range② Time spans（时间段/时期）由时间点定义的一段时期PeriodPeriod或period_range③ Date offs
2020-06-29 22:51:40
687
原创 文本分类
第8章 分类数据import pandas as pdimport numpy as npdf = pd.read_csv('data/table.csv')df.head() School Class ID Gender Address Height Weight Math Physics 0 S_1
2020-06-29 00:06:32
167
原创 第7章 文本数据
第7章 文本数据import pandas as pdimport numpy as np一、string类型的性质1. string与object的区别string类型和object不同之处有三：① 字符存取方法（string accessor methods，如str.count）会返回相应数据的Nullable类型，而object会随缺失值的存在而改变返回类型② 某些Series方法不能在string上使用，例如： Series.str.decode()，因为存储的是字符串而不是字节
2020-06-27 12:42:41
369
原创 第7章 文本数据
第7章 文本数据import pandas as pdimport numpy as np一、string类型的性质1. string与object的区别string类型和object不同之处有三：① 字符存取方法（string accessor methods，如str.count）会返回相应数据的Nullable类型，而object会随缺失值的存在而改变返回类型② 某些Series方法不能在string上使用，例如： Series.str.decode()，因为存储的是字符串而不是字节
2020-06-26 23:04:48
300
task03-特征工程.md
2020-03-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人