Karen_Yu_-CSDN博客

原创 Jupyterlab 创建虚拟环境 CondaHTTPError: HTTP 000 CONNECTION FAILED

CondaHTTPError: HTTP 000 CONNECTION FAILED for url conda config --remove channels conda-forge

2024-09-27 17:17:52 331

原创【Intro】metapath2vec

异构网络中的表示学习的独特挑战来自于多类型节点和链路的存在，这限制了传统网络嵌入技术的可行性。文章提出了两个可扩展的表示学习模型，名为metapath2vec和metapath2vec++。metapath2vec模型形式化了基于元路径的随机游走，以构建节点的异构邻域，然后利用异构skip-gram模型执行节点嵌入。metapath2vec++模型进一步实现了异构网络中结构和语义相关性的同时建模。

2024-08-18 12:47:37 1154

原创【stellargraph】features: expected batch dimension = 1 when using sparse adjacency matrix in GraphConv

乍一看可能无法解决了（实际上解决方案就在文档里），只是我习惯性觉得会按照安装的python版本自动选择stellargraph版本（但是tensorflow和pytorch都有版本要求，stellargraph娇气一点似乎也很正常）先说原因，因为python版本不支持（3.6才可以），可以考虑降版本或者重新配一个环境（考虑到原来的环境还连着其他的一些包，改了python版本就势必要动他们，所以还是从头配吧orz）但是，我现在想拿到节点embedding，比较一些节点的相似性，so……

2024-07-07 18:46:56 647

原创【Intro】Cora数据集介绍

假设我们有一个单一的图(如：Cora)，将一些节点(而不是图)分成训练/验证/测试训练集。重点是——此处不是在使用它们的标签信息（没有使用节点的feature），而是在使用它们的结构信息和特征。基本问题是，虽然图像位于规则网格上(你也可以将其视为图形)，因此具有精确的顺序概念，但图不享受这种良好的属性，邻居的数量以及邻居的顺序。事实证明，将注意力的想法与已经存在的图形卷积网络(GCN)结合起来是一个很好的举动🤓- GAT是GNN文献中被引用次数第二多的论文(截至该notebook撰写时)。

2024-06-05 19:43:39 1223

原创【Intro】Heterogeneous Graph Attention Network（HAN）

异构性和丰富的语义信息给面向异构图的图形神经网络设计带来了巨大的挑战。-> 一种基于分层注意的异构图神经网络，包括节点级注意和语义级注意。具体来说，节点级关注旨在学习节点与其基于元路径的邻居之间的重要性，而语义级关注能够学习不同元路径的重要性。通过对节点级和语义级的关注，可以充分考虑节点和元路径的重要性。然后，该模型可以通过分层方式聚合基于元路径的邻居的特征来生成节点嵌入。metapath 元路径metapath及其相关概念（持续更新ing...）-CSDN博客。

2024-06-02 15:28:50 928

原创【intro】GNN中异构图（heterogeneous graph）综述

大多数GNN的目的是学习只包含单一类型的节点和边的同构图的嵌入向量。然而，现实世界中的实体及其相互作用往往具有多种类型，自然形成具有丰富结构和语义信息的异构图。现有的异构图表示学习的调查论文总结了所有可能的图嵌入技术，对深度神经网络模型的分析不足。为了解决这一问题，本文系统地总结和分析了现有的异构图神经网络(hgnn)，并根据其神经网络结构对其进行了分类。同时，收集了常用的异构图数据集，并总结了它们的统计信息。此外，还比较了HGNN和浅嵌入模型的性能，以显示其强大的特征。

2024-05-31 15:18:55 3193

原创【补充】图神经网络前传——Node2vec

对于网络中的节点和边来做预测，首先需要做特征工程，把他们变成向量，有了这些向量之后才能输入到后续的机器学习算法当中，继续做下游的预测、分类任务。但是当时表示学习（ML）在图中的应用（如deepwalk、line）的表示能力不够高->无法反应出节点更丰富的特征和更丰富的连接属性。提出node2vec，一个更好的做node embedding的方法。node2vec是使用极大似然估计来实现训练。定义了一个非常灵活的，有偏随机游走方法，可以有效的探索多样的属性（邻居？），得到更丰富的表示。

2024-05-13 16:39:38 912

原创【补充】图神经网络前传——DeepWalk

DeepWalk是干什么的：在一个网络中学习顶点的潜在表示。这些潜在表示编码了容易被统计学模型的在联系向量空间中的社会关系。DeepWalk怎么做到的：使用从截断的随机游走中获得的局部信息，通过将行走视为句子来学习潜在表征。统计学模型->指ML。

2024-05-13 05:00:00 1231

原创【补充】图神经网络前传——PageRank

对于任何一个网页，都可以给出网页的重要度，给每个网页重要度打分，高分的靠前。（这个参考资料考虑之后去自己看看）把互联网用图来表示，每一个网页就是一个节点，网页之间的引用（放一个超链接，比如）就是边。不过现在可能这样就不太方便了，因为现在的网页是可以随时生成的（比如支付成功页面），同时还有无法触达的部分（比如朋友圈、聊天记录），都不是爬虫可以爬到的。PageRank把互联网当作一个整体，认为网页间存在关联。

2024-05-10 09:18:02 866

原创【intro】Graph Isomorphism Network（GIN）

图神经网络(gnn)是一种有效的图表示学习框架。gnn采用邻域聚合方案，通过递归聚合和变换相邻节点的表示向量来计算节点的表示向量。已经提出了许多GNN变体，并在节点和图分类任务上取得了最先进的结果。然而，尽管gnn彻底改变了图表示学习，但人们对其表示特性和局限性的理解有限。->一个理论框架，用来分析GNN捕获不同图结构的能力。

2024-05-09 11:44:42 2537

原创【intro】GraphSAGE

大图中节点的低维embedding已经被证明在各种预测任务中非常有用，然而，大多数现有的方法要求在embedding训练期间图中的所有节点都存在;这些先前的方法属于直推式（transductive），不能自然地推广到看不见的节点。这里我们介绍GraphSAGE，一个通用的归纳式（inductive）框架，它利用节点特征信息(例如，文本属性)来有效地为以前未见过的数据生成节点embedding。

2024-05-08 14:13:45 1080

原创【intro】图注意力网络（GAT）

GAT，作用于图结构数据，采用masked self-attention layers来弥补之前图卷积或类似图卷积方法的缺点。通过堆叠layers，让节点可以添加其邻居的特征，我们就可以给不同的邻居节点不同的权重，而这一步操作不需要使用任何昂贵的矩阵计算（比如求逆矩阵），也不需要依赖对图结构的了解。可以很容易地应用于inductive，transductive 问题（归纳、直推）。

2024-05-08 05:45:00 2207

原创【intro】图卷积神经网络（GCN）-续

卷积神经网络也可以被看作是一个图神经网络。每个像素都有自己的邻居，比如上图最中间的1有8个邻居，CNN其实就是对这个8-邻域的信息进行汇总区别在于CNN中，卷积核是需要学习的，但是在GCN中，是由normalized adjacency matrix预定义好的（不用学）并且CNN不能调换像素位置。

2024-05-06 15:59:30 826

原创【intro】图卷积神经网络（GCN）

id- 每个sample对应的随机标识符seq_scored- (68 in Train and Public Test, 91 in Private Test)int，表示使用预测值进行评分时所使用的位置数。这应该与reactivity、deg_*和*_error_*列的长度相匹配。用于Private Test的分子将比Train和Public Test数据中的分子长，因此此向量的大小将不同。seq_length。

2024-05-05 19:54:51 1251

原创【补充】图神经网络前传——图论

如上图，简单图G的顶点集合为V(G)，{u, v, w, z}，边的集合为E(G)，包含：uv, uw, vw, wz在任何简单图中，最多有一条边连接给定的一对顶点。简单图的很多结论可以推广到更general的图中（即使加上环和多重边）图：其中V表示顶点的集合，E是未排序的顶点对的集合，E中的元素即为边。相邻（adjacent）：假设u v是图的两个顶点，若有，则称u v是相邻的，即是图G中的一条边，称u为v的邻居（neighbour）。关联（incident）：若顶点v和边e的关系为。

2024-04-30 18:11:33 1699

原创 Graph Neural Networks(GNN)学习笔记

edgesnodes).图是表现实体（顶点）之间的一些关系（边）顶点可以用embedding（就是一条向量）来表示其中的一些属性边也可以用embedding来表示，边的长度（指向量的长度）可以和顶点的长度不一样全局的信息也可以用embedding来表示（长度也可以不一样）核心->如何把我们想要的信息，表示成这些向量，以及这些向量是否能通过数据来学到有向图&无向图。

2024-04-28 15:48:49 963

原创 Transformer 代码补充

本文是对以及的补充，是对相关代码的理解。先说个题外话，在之前李宏毅老师的课程中提到multi-head attention是把得到的qkv分别乘上不同的矩阵，得到更多的qkv。实际上，这里采用的方法是直接截取，比如这里有两个头，那么q^i就被分成两部分q^{i,1}和q^{i,2}。在中有解释，也推荐。

2024-01-30 21:56:36 1048

原创【李宏毅机器学习】Transformer 内容补充

发现一个奇怪的地方，如果直接看ML/DL的课程的话，有很多都是不完整的。开始思考是不是要科学上网。本文用作的补充内容，因为发现如果实操还是有不能理解的地方，所以准备看看宝可梦老师怎么说×。

2024-01-28 12:26:16 1239 1

原创【百面机器学习】读书笔记（一）

感觉这里书给的不怎么样orz。

2024-01-22 18:44:45 616

原创 KAGGLE · GETTING STARTED CODE COMPETITION 图像风格迁移示例代码阅读

将真实图像比作1的矩阵，将假图像比作0的矩阵。完美的discriminator将为真实图像输出所有的1，为假图像输出所有的0。discriminator损耗输出实际损耗和生成损耗的平均值。计算真实标签和预测标签之间的交叉熵损失。将这种交叉熵损失用于二值(0或1)分类应用程序。TF2.0—tf.keras.losses.BinaryCrossentropy-CSDN博客tf.keras.losses.BinaryCrossentropy函数-CSDN博客这里延伸一下：为什么分类要用交叉熵而不用MSE。

2024-01-21 17:57:56 896

原创李宏毅 Generative Adversarial Network（GAN）生成对抗网络

machine learning就是去找一个函数，input一个东西，output另一个东西。如果是regression task，就output一个数值，如果是classification task，就是output一个class。如果我们遇到的问题是一个更复杂的问题，不是output一个数值/class，可能是一个sequence、matrix、graph、tree。这个task就是structured learning。

2024-01-21 10:53:58 1484 1

原创 PyTorch Tutorial 2.0

这里是对于的补充，但是与其相关的NLP内容无关，只是一些基础的PyTorch用法的记录，主要目的是能够自己生成一些模拟的数据集。先介绍随机数的目的是因为based on随机数方法。当然在看随机数的方法的时候，觉得也有必要对统计学方法进行一个总结，也许在不久的将来吧:))

2024-01-16 18:12:54 1190 1

原创 Intro project based on BERT

BERT，其实就是Transformer中的encoder。是语言模型的变形。一起入门语言模型(Language Models) - 知乎 (zhihu.com)（在之前NLP的部分其实就提到的语言模型，让我盲答的话我会举例描述这就像已知我说了某个词A，那么我下一个说词B的概率，这种感觉就很类似我们手机上的输入法，输入一个词之后会给出联想词，点击之后又会给出新的联想）---以下为引用---什么是语言模型呢？对于任意的词序列，它能够计算出这个序列是一句话的概率。

2024-01-10 17:43:16 1087

原创 BERT Intro

BERTBEncoderRTransformers（transformer这个模型的双向的编码器表示，注意到这里和标题内容是不一样的，很可能这个名字是凑出来的（李宏毅在NLP课程中提过这个，表示就是凑出来的，吐槽说论文也喜欢蹭热点，比如有些用三个动词，比如xxx is all you need这样，还举例说后面的其他模型也凑热闹，硬用芝麻街里的人名凑），这篇论文的想法基于一个重要的工作ELMo（这是一个基于RNN的架构），来自于芝麻街的人物）。

2024-01-09 19:13:09 1167

原创 Transformer - Attention is all you need 论文阅读

在主流的序列转录模型中，主要是依赖循环或者卷积神经网络，一般是使用encoder和decoder的架构，在一些性能最好的模型中，通常也会在encoder和ecoder之间使用一个称为attention mechanism（注意力机制）这篇文章主要是要做序列到序列的生成，采用一个新的简单的网络结构，仅仅依赖注意力机制，而完全没有采用之前的循环或者卷积。作者做了两个翻译的任务，显示模型的性可以并行，并且所需要训练的时间更短。2 个机器翻译任务的实验结果英 - 德：比当时最好的结果提高了2个BLEU。

2024-01-07 19:03:39 1421

原创 PyTorch Tutorial

kernelreturn xprint(net)简单解释一下，这是一个简单的卷积神经网络，首先x是一个二维的Tensor（比如图像），这个图像的channel是1（可能是黑白的，当然也可能是彩色图像但是只使用其中的某个通道），对这个Tensor使用6个kernel大小为5*5，步长为1，padding为0的卷积（使用6个就代表输出会有6个channel），然后接入ReLU（激活函数，提供非线性），接着是max pooling（2*2，stride=kernel size=2）

2024-01-06 21:32:45 1302

原创 ResNet论文阅读和简单实现

让我们先把H(x)看做是由几个堆叠的层拟合的潜在映射（这里的几个不一定指的是整个网络），那么此时x表示的就是这些层中第一层的输入。F(x, {W_i})：学到的residual mapping（我们最后想得到的是H(x)，但是这里学到的是F(x, {W_i})，也就是H(x) - x，但是没有关系，我们最后输出的是F(x, {W_i}) + x，也就是H(x) - x + x，这种思路很像小时候做那种数列找规律求和，虽然直接算很难算，但是可以加上一项之后先算出来结果，最后再把加上来的项去掉）

2024-01-03 23:21:43 1145

原创李宏毅自然语言处理（Voice Conversion）笔记

patcher也是一个model，吃的input和decoder一样（content encoder的输出+speaker encoder的输出），decoder得到一段声音信号，patcher也产生一段声音信号，这一段声音信号会加到decoder产生的声音信号上，所以这个patcher的作用是打补丁。同一句话，不同人说的效果是不一样的；这里vocoder可以采用传统的信号处理的方法（不见得能得到好的结果，我们在听合成的时候听到的那种假假的声音往往就是这里的问题），也可以用DL。->加一些额外的东西。

2023-12-31 16:56:11 1494

原创李宏毅自然语言处理（Speech Recognition）笔记

从Ng那里跑路来学NLP了，之前其实ML入门听的就是宝可梦捕获大师（×）的课，目前计划是，本博文作为上面链接所示课程的笔记记录。听完之后会找个项目练一练，然后去听一些更新的技术的介绍，再找个项目练一练。

2023-12-31 10:43:27 1651

原创吴恩达深度学习intuition

常见的方法就L1和L2，具体可以参考LASSO regression，Ridge regression。前者会将权重中的部分打压的很厉害，接近0。Ng提出，很多人认为采用L1 regularization可以减少权重矩阵中需要储存的数据，这样可以节约存储空间，但实际上并没有明显区别。here是一种初始化方法。，采用高斯分布去分配weights。对于每一层，我们希望方差保持不变。这有助于我们防止explode/vanish。换句话说，我们需要初始化权重，使x和y的方差保持不变。

2023-12-20 21:51:13 807

原创 Linear Discriminant Analysis (LDA)

LDA主要用来降维和分类，其逻辑是以已有的类别标签为依据，寻找特征的线性组合，这一线性组合刚好可以区分两个或多个类，从而达到将数据投射到低维空间，并保留尽可能多的信息的目的，本质上就是线性变换。LDA和FDA是一个东西，因为是Fisher这个人搞出来的，因此会看到两个名字混用。这里记录一下sklearn给的示例代码，以及一些相关的笔记。去年上课的时候老师简要提到过，但是当时笔记太简略了orz。LDA和PCA都可以用来降维，但是两者本质不同。

2023-04-05 08:29:02 634

原创 24. Swap Nodes in Pairs (Python)

MediumGiven alinked list, swap every two adjacent nodes and return its head. You must solve the problem withoutmodifying the values in the list's nodes (i.e., only nodes themselves may be changed.)Example 1:Input: head = [1,2,3,4]Output: [2...

2022-01-05 04:48:18 247

原创 807. Max Increase to Keep City Skyline （Python）

MediumThere is a city composed ofn x nblocks, where each block contains a single building shaped like a vertical square prism. You are given a0-indexedn x ninteger matrixgridwheregrid[r][c]represents theheightof the building located in the b...

2021-12-30 02:56:45 633

原创 Google Colab的使用

参考：https://www.jianshu.com/p/2cf00bb9db34?utm_source=oschina-app需要提前准备：1.科学上网工具2.一个谷歌账号（Google Colab和Google drive都是需要账号的）Google Colab网址：https://colab.research.google.com/notebooks/intro.ipynb#scrollTo=gJr_9dXGpJ05在注册账号的时候遇到了问题：Google账号注册中国大陆手机号

2021-04-14 20:52:05 7237 3

原创 win10系统安装Tensorflow2.1-CPU版本

参考：https://blog.csdn.net/loft_/article/details/105550596换回自己的笔记本得重新配置环境了，研究了一个星期，决定先看一下CPU的情况（毕竟GPU云服务器太贵了，先用CPU学一下，反正效果差不多……吧）----------------插一句题外话听说谷歌云服务器可以薅羊毛，薅羊毛爱好者正在思考好像需要visa卡？不知道MasterCard能不能用？----------------没有显卡，上淘宝溜了一圈，告辞！Anacond

2021-04-08 22:24:15 778

原创 WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None))

没想到换个地方配置环境还能解锁新的报错！不愧是你Anaconda！WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ProxyError('Cannot connect to proxy.', timeout('_ssl.c:1074: The handshake operation timed out'))': /py

2021-04-08 21:11:39 33467

空空如也

空空如也