- 博客(25)
- 收藏
- 关注
RSS订阅原创 四 、前后端基础及交互
四 、前后端基础及交互1. 本系统整体架构：前端：Vue框架 + mint-ui目录结构：Vue-newsinfo+---src---------------------------------项目主文件夹| +---assets--------------------------静态资源文件，包括img、css、js| | +---css-------------------------样式文件| | | +---sign.css--------------
2021-12-28 00:20:37
525
原创 二 、数据库(MySQL、MongoDB、Redis)的基本使用
二 数据库(MySQL、MongoDB、Redis)的基本使用1. 本系统后端架构（Flask+MySQL+MongoDB+Redis）：为什么使用3种数据库？每个数据库的功能？MySQL: 用来存储结构化数据，例如用户信息，新闻的特征需掌握的操作（增删改查、排序）**MongoDB：**用于存储画像数据（包括用户画像和新闻画像）需掌握的操作（增删改查、排序）**Redis：**内存数据库，用于存储变化的数据，用于存储变化快的数据，主要用于存储新闻动态变化的数据（用户对新闻的行
2021-12-18 21:45:47
1081
原创 一、熟悉新闻推荐系统基本流程
一、悉新闻推荐系统基本流程环境搭建：vmware + ubuntu20.04（虚拟机）前端框架： Vue、 后端框架： Flask数据库： MySQL、MongoDB、redisIDE：vscode(个人觉得连接虚拟机或者服务器很nice）vscode连接虚拟机教程题外话：（如何拥有自己的项目？）找开源项目（github）第一步先配好环境第二部先把人家的项目跑起来看源码自己尝试修改，最后复现新闻推荐系统架构图：offline:最核心的一点就是要定
2021-12-14 23:08:30
2605
原创 task04：卷积情感分析
task04：卷积情感分析CNN:能够从局部输入图像块中提取特征，并能将表示模块化，同时可以高效第利用数据可以用于处理时序数据，时间可以被看作一个空间维度，就像二维图像的高度和宽度那么为什么要在文本上使用卷积神经网络呢？与3x3 filter可以查看图像块的方式相同，1x2 filter 可以查看一段文本中的两个连续单词，即双字符本模型将使用多个不同大小的filter，这些filter将查看文本中的bi-grams（a 1x2 filter）、tri-grams（a 1x3 filte
2021-09-24 19:57:00
134
原创 ## task03：Faster 情感分析
task02：Faster 情感分析一、数据预处理：FastText分类模型：其他文本分类模型最大的不同之处在于其计算了输入句子的n-gramn-gram： 将文本里面的内容按照字节进行大小为n的滑动窗口操作，形成了长度是n的字节片段序列，其中每一个字节片段称为gram将n-gram作为一种附加特征来获取局部词序特征信息添加至标记化列表的末尾TorchText ‘Field’ 中有一个preprocessing参数TEXT = data.Field(tokenize = '
2021-09-21 16:17:40
130
原创 task02：Updated情感分析
task02：Updated情感分析一、可优化的方面：使用压缩填充序列加载和使用预训练词嵌入采用不同的优化器选择不同的RNN体系结构（双向RNN，多向RNN）二、准备数据：注意：RNN只能处理序列中的非padded元素（即非0数据），对于任何padded元素输出都是0，include_length设为True，以获得句子的实际长度数据集使用的是IMDB影评数据集三、词向量：GloVe(Global Vectors for Word Representation
2021-09-18 22:28:56
107
原创 task1：情感分析baseline
task1：情感分析baseline环境问题：torch1.8.1 cu102安装torchtext 0.9时报以下错误ERROR: torchvision 0.9.1+cu102 has requirement torch==1.8.1, but you'll have torch 1.8.0 which is incompatible.ERROR: torchaudio 0.8.1 has requirement torch==1.8.1, but you'll have torch
2021-09-15 20:51:02
398
原创 自然语言处理之PyTorch情感分析简介
task0：自然语言处理之PyTorch情感分析简介（1天）环境：PyTorch1.8或以上、torchtext0.9或以上、python3.7（其他的安装很简单，就不赘述了）transformer:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformers安装spaCy遇到的问题：pip install spacy-nightly --prepython -m spacy download en_
2021-09-13 21:09:25
485
原创 Chapter3-线性模型线性模型
Chapter3-线性模型线性模型试图学得一个通过对属性线性组合来进行预测的函数，基本形式如下：f(x)=wTx+b f(x) = w^T x + bf(x)=wTx+b确定了 www 和 bbb，则模型就确定下来。优点：形式简单，易于建模；可解释性强：www 表达了各个属性在预测中的重要性。## 线性回归我们可以用线性模型来做简单的回归任务，即根据样本的属性预测样本的标签值。均方误差是回归任务中常用的性能度量，其几何意义是欧几里得距离。基于均方误差求解的方法即为最小二乘法，目标是找出一条直线使所有样本到
2021-07-20 00:13:51
111
原创 Task01 吃瓜—绪论
Task01 吃瓜—绪论一、没有免费的午餐（No Free Lunch Theorem）所有学习算法的期望性能相同（只是处理不同的问题时，学习算法A优于学习算法B）二、过拟合（overfitting）与欠拟合（underfitting）过拟合：学习样本集非一般特征，泛化性能下降解决方法：选择泛化误差最小的模型增加噪声，数据增强（旋转，裁剪，光照，翻转）减小网络规模（不常用）正则化欠拟合：没有学到样本集一般特征解决方法：在决策树中增加分支神经网络学习中多训练几轮
2021-07-13 23:04:02
128
原创 Task08 总结
Task08 总结基本的图论知识、常规的图预测任务和PyG库的安装与使用： 在这一任务中，推荐大家用mini-conda的集成环境，如果使用纯pip环境，所使用的系统需要是Linux或Mac。实现图神经网络的通用范式，构建一个图神经网络： 在这一任务中，主要了解MessagePassing基类的运行流程，建议通过断点调试的方式，掌握propagate()、message()、aggregate()和update()函数的调用顺序与相关功能。基于图神经网络的节点表征： 在这一任务
2021-07-11 00:56:24
84
原创 Task07 图预测任务
Task07 图预测任务一、超大规模数据集类的创建数据集规模超级大，我们很难有足够大的内存完全存下所有数据。需要一个按需加载样本到内存的数据集类。1.1 Dataset基类通过继承torch_geometric.data.Dataset基类来自定义一个按需加载样本到内存的数据集类。还需要实现：len() 、get()方法。无需下载数据集原文件的情况，我们不重写（override）download方法即可跳过下载。对于无需对数据集做预处理的情况，我们不重写process方法即可跳
2021-07-09 23:23:15
149
原创 Task06 基于图神经网络的图表征学习方法
Task06 基于图神经网络的图表征学习方法一、基于图神经网络的图表征学习方法图表征学习要求在输入节点属性、边和边的属性（如果有的话）得到一个向量作为图的表征，基于图表征进一步的我们可以做图的预测。基于图同构网络（Graph Isomorphism Network, GIN）的图表征网络是当前最经典的图表征学习网络二、基于图同构网络（GIN）的图表征网络的实现先计算得到节点表征对图上各个节点的表征做图池化（Graph Pooling）(图读出（Graph Readout）) --&
2021-07-05 23:22:37
314
2
原创 Task05 超大图上的节点表征学习
Task05 超大图上的节点表征学习一、超大图节点表征学习面临的挑战随着图神经网络层数增加，计算成本呈指数增长的问题，面临着保存整个图的信息和每一层每个节点的表征到内存（显存）而消耗巨大内存（显存）空间的问题。也有不用把整个图的信息和每一层每个节点的表征放到GPU内存，但是有精度有损失，而且不利于提高内存利用率。二、Cluster-GCN为了解决普通方法无法训练超大图的问题，Cluster-GNN采取如下方法：利用图节点聚类算法将一个图的节点划分为ccc个簇，每一次选择几个簇的节点和这些
2021-07-02 00:25:04
165
原创 Task04 数据完全存于内存的数据集类&节点预测和链接预测
Task04 数据完全存于内存的数据集类&节点预测和链接预测一、InMemory数据集类为什么要将数据集存到内存？加速？占用内存有限的数据集，可以将其整个存于内存PyG中通过继承InMemoryDataset类来自定义一个数据可全部存于内存的数据集类class InMemoryDataset(root: Optional[str] = None, transform: Optional[Callable] = None, pre_transform: Optional[Ca
2021-06-28 00:09:13
178
原创 Task03 基于图神经网络的节点表征学习
Task03 基于图神经网络的节点表征学习一、节点表征节点表征是图节点预测或边预测任务的前奏用图神经网络来生成节点表征，并通过基于监督学习的对图神经网络的训练，使得图神经网络学会产生高质量的节点表征高质量的节点表征能够用于衡量节点的相似性，同时高质量的节点表征也是准确分类节点的前提。二、准备工作在数据输入神经网络之前修改数据，可以实现数据规范化或数据增强可视化节点表征import matplotlib.pyplot as pltfrom sklearn.manifold imp
2021-06-24 00:14:26
210
原创 Task02 消息传递图神经网络
Task02 消息传递图神经网络一、消息传递范式基本概念消息传递范式定义：基于神经网络的生成节点表征的范式是一种聚合邻接节点信息来更新中心节点信息的范式消息传递范式的三个步骤：（1）邻接节点信息变换（2）邻接节点信息聚合到中心节点（3）聚合信息变换消息传递范式描述： xi(k)=γ(k)(xi(k−1),□j∈N(i) ϕ(k)(xi(k−1),xj(k−1),ej,i))\math
2021-06-19 16:17:28
107
原创 Task01 简单图论与PyG库
1.GNN学习资源：课程CS224W课程资料作业及PPT 提取码：u1iz书籍：图深度学习（马耀）DataWhale开源资料2.简单图论与复杂网络2.1 复杂网络模型随机网世界网无标度网2.2图论中的基本概念(这里不赘述,只记录比较重要的概念)度行走路径最短路径: pstsp=argminp∈Pst∣p∣p_{\mathrm{s} t}^{\mathrm{sp}}=\arg \min _{p \in \mathcal{P}_{\mathrm{st}}}
2021-06-15 22:39:46
221
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人