weixin_40675092-CSDN博客

原创 Numpy as_strided实现高效卷积中strides如何确定

numpy可实现卷积转换成矩阵乘法算法，但是使用np.lib.stride_tricks.as_strided这个函数可以实现更高效的卷积算法。

2023-10-08 17:55:58 275

原创对抗样本：ShadowsAttack

本文来自CVPR 2022，作者提出了一种新型光学对抗样本，ShadowAttack。它通过一种普遍且自然的现象——阴影，生成对抗扰动，达到自然而隐密的攻击效果。作者在自然环境和测试环境都测试了该方法的效果，交通标志牌的识别实验表明，ShadowAttack方法在LISA和GTSRB两个数据集的攻击成功率达到98.23%和90.47%。

2022-09-22 15:56:29 991 1

1.FGSM单步攻击，fast gradient sign method对抗样本生成方法，通过更新对抗扰动，增大图片分类损失，将样本推过分类决策边界。对抗扰动更新方法如下Xadv=X+ϵ×sign(∇XL(X,ytrue;θ))X^{\mathbf{adv}} = X + \epsilon \times \mathbf{sign}\big(\nabla_{X}L(X,y^{\mathbf{true}}; \theta)\big)Xadv=X+ϵ×sign(∇XL(X,ytrue;θ))2.I_

2022-02-13 20:37:19 834

原创论文学习笔记：背景扰动补丁攻击目标检测模型

作者提出了一个新颖white-box攻击的方法，生成图片背景对抗补丁，以此来attack 基于Single Shot Module (SSM)的目标检测器。算法能够在图片内找到有效的位置和形状，创建对抗扰动。生成的对抗扰动，在攻击目标检测模型的同时肉眼几乎无法分辨。不仅能够降低正阳性率，而且还能提升假阳性率。作者在COCO数据上，对8个two-stage目标检测方法和5个one-stage方法进行了对抗实验，均得到了不错的效果Adv Petch...

2021-09-16 22:18:04 525

原创论文学习笔记：通用对抗扰动UAP

给定一个state-of-the-art的深度神经网络分类器，作者的工作展示了通用对抗扰动(UAP)的存在性，并且提出了计算UAP的方法。经验型的解释了这种扰动，展示了UAP在不同神经网络之间的泛华性。UAP的存在揭示了高维决策边界之间存在重要的几何相关性。进一步概述了现有自然图像分类器存在安全漏洞。UAP假设图片x∈Rdx \in \mathbb{R}^dx∈Rd来自分布μ\muμ，注意，这里的μ\muμ分布，代表了大部分的自然图片，包含较强的多样性。在这样的情况下，我们要找到通用对抗扰动 vvv，

2021-09-12 14:00:00 1714

原创论文学习笔记：node2vec: Scalable Feature Learning for Networks

表征学习捕获网络中连接模式的多样性node2vec：学习网络中节点的连续特征表达，将节点映射到一个低维特征空间。最大化的保留节点邻域。在多标签分类和边预测优于当前的state-of-the-art技术。亮点：通过引入两个参数 p 和 q, 将宽度优先搜索和深度优先搜索引入了随机游走序列的生成过程 . 宽度优先搜索注重邻近的节点并刻画了相对局部的一种网络表示 , 宽度优先中的节点一般会出现很多次 , 从而降低刻画中心节点的邻居节点的方差 ; 深度优先搜索反应了更高层面上的节点间的同质性 .paper.

2021-07-09 18:16:02 121

原创 Pyspark中使用窗口函数和透视表

一、处理json格式的hdfs日志处理json格式的日志，常规方法是使用sc.textFile(hdfs_path)读数据，然后json.loads()将没一行json串解析成字典，但是解析json串时会产生pyton-spark的数据交互，这种交互的成本很大。spark2.0以上的版本支持spark.sql.read.json方法直接读取json格式，但是分布式文件系统的json日志往往是很不规整的，json串的key各有不同，甚至相同的key，值的属性也不一样（1000， “1000”），脏的数据会.

2021-07-04 14:47:41 408

原创 Pytorch unsqueeze和squeeze方法

1.维度扩展（unsqueeze）torch.unsqueeze(tensor, dim)将tensor的指定位置插入1维import torchx = torch.arange(10).reshape(2, 5)x# tensor([[0, 1, 2, 3, 4],# [5, 6, 7, 8, 9]])torch.unsqueeze(x, 0).shape # torch.Size([1, 2, 5])torch.unsqueeze(x, 1).shape # torc.

2021-06-28 17:08:44 142

原创 Batch Normalization

一、为什么要使用Batch-Norm？从效果来看，Batch-Norm可以使用较大的lr，不用太小心翼翼的care参数初始化的问题，还可以加速收敛。对于深度网络的训练是一个复杂的过程，只要网络的前面几层发生微小的改变，那么后面几层就会被累积放大下去。一旦网络某一层的输入数据的分布发生改变，那么这一层网络就需要去适应学习这个新的数据分布，所以如果训练过程中，训练数据的分布一直在发生变化，那么将会影响网络的训练速度。我们知道网络一旦train起来，那么参数就要发生更新，除了输入层的数据外(因为输入层数据.

2021-06-28 16:31:10 114

原创理解偏差-方差权衡

http://scott.fortmann-roe.com/docs/BiasVariance.html当我们谈到预测模型，预测误差可以被分解成两个子组件：由偏差产生的误差和由方差产生的误差。这是一个模型最小化偏差和方差能力的权衡。理解这两类误差能够帮我们诊断模型结果和避免过拟合、欠拟合。1、偏差和方差了解不同的误差来源如何导致偏差和方差能够帮助我们改善数据拟合过程，得到更准确的模型。我们从三个方面定义偏差和方差：概念、图形和数学。1.1 概念定义**偏差导致的误差：**由偏差导致的误差被视为.

2021-06-27 11:47:15 880

原创优化算法（一）

一、动量法1、梯度下降的问题梯度下降又叫最速下降，每次更新时会自动选择梯度最大的方向。这就造成了问题。如下图输入为二维向量x=[x1,x2]⊤\mathbf{x} = [x_1, x_2]^\topx=[x1,x2]⊤，输出为标量的目标函数f:R2→Rf: \mathbb{R}^2 \rightarrow \mathbb{R}f:R2→R。下面为该函数的等高线示意图（每条等高线表示相同函数值的点：越靠近中间函数值越小）。观察发现等高线在x2x_2x2轴上很瘪，也就是说目标函数在竖直方向（x2.

2021-06-27 11:44:14 136

原创 Gremlin语法学习笔记

hugegraph查询使用Gremlin语法，打开 hugegraph-studio http://10.0.0.50:18088，更详细的方法参考 http://kelvinlawrence.net/book/Gremlin-Graph-Guide.html#fuzzyregs导入数据，jar包参考 https://git.gtapp.xyz/ml/graph-user，导入的数据为user白名单数据，下文中示例如无说明，均使用此数据。java -jar target/graph-cases-1.0.

2021-06-27 11:40:28 1980

原创配置gcn模型训练环境

cuda和cudnncuda和cudnn下载https://developer.nvidia.com/cuda-toolkit-archivehttps://developer.nvidia.com/rdp/cudnn-archiveAanaconda安装配置：下载anaconda包，sh安装Anaconda创建环境：#下面是创建python=3.6版本的环境，取名叫py36conda create -n py36 python=3.6#删除环境（不要乱删啊啊啊）conda r.

2021-06-27 11:33:27 317

原创 Neo4j使用教程

neo4j是老牌的图数据库，社区版图尺寸限制是34B节点，企业版无此限制1、从一个比较复杂栗子开始MATCH (p:IP) WHERE p.ipId='61.158.149.106' WITH p MATCH (p)<-[r1]-(u:UserDate) WITH DISTINCT u, p, rand() AS rand1 ORDER BY rand1 LIMIT 20 MATCH (u)-[]->(g) WITH DISTINCT g, u, p, rand() AS rand.

2021-06-27 11:30:41 1099

原创直播平台虚假炒作

摘要直播平台作为一种分享和广告创意内容的手段在近几年变得越来越流行。能够吸引大量收视率到他们直播的流行主播能够以广告收入、捐赠、订阅的手段谋生。不幸的是，这种物质激励的人气也同时刺激欺诈者提供虚假炒作服务或者通过人为提供虚假的现场观众提高收视率。1、介绍近几年来，网络直播平台高涨，它们为网络用户提供一个空前水平的开放视频内容的平台。直播服务如Twitch、YouTube直播，Ustream能够广播各种类型的实时直播视频内容（通常包括各种电子竞技游戏和其他创意性的内容）给感兴趣的观众群体，这些观众可以.

2021-06-27 11:28:00 353

原创 sklearn训练决策树并可视化

from sklearn.tree import DecisionTreeClassifierfrom sklearn import treefrom sklearn.externals.six import StringIOimport pydotclf = DecisionTreeClassifier(max_depth=3)# features.remove("rule_score")# features.remove("rules_cnt")features.remove('type.

2021-06-27 11:25:40 238

原创论文学习笔记：Semi-Supervised Classification with Graph Convolutional Network

原文链接：Semi-Supervised Classification with Graph Convolutional Network代码实现：https://github.com/tkipf/pygcn一、亮点1.分层传播规则，模型f(A,X)f(A, X)f(A,X)直接编码结构信息，不需要显式的使用图正则。2.节点的半监督分类实现二、显式的图正则基于图的半监督学习问题，需要通过显式的基于图的正则化项来将标签信息平滑到整个图上。在损失函数中使用Laplace正则化项L=L0+λLreg.

2021-06-27 11:19:01 124

原创论文学习笔记：GraphSAGE

本文介绍一个inductive node embedding的框架——GraphSAGE。算法与其他transductive learning方法的优势在于，学习一系列能够聚合邻居节点特征，生成中心节点表示的aggregator。而不是只学习当前训练集的node embedding。所以模型可以很好的推广到新的graph上。算法在citation和Reddit数据集上取得了art of state的表现。并且在模型在完全没见过的图数据上表现出不错的泛化能力。一、GraphSAGE回顾原始 GCN，每层.

2021-06-27 11:18:04 433

原创论文学习笔记：Modeling Relational Data with Graph Convolutional Networks

原文：Modeling Relational Data with Graph Convolutional Networks使用 R-GCN 恢复知识库，包含节点分类和连接预测两个任务。节点分类直接使用R-GCN训练节点的表示进入softmax；连接预测是一个autoencoder，R-GCN产生节点的潜在表示，张量分解模型DistMult探索学习到的节点表达，预测边。1.亮点1.建模多类型连接关系（边有多个类型）的图数据2.两个正则化track2.模型我们使用G=(V,ε,R)G=(\mat.

2021-06-27 11:14:40 516

原创论文学习笔记：Attention-Based Graph Neural Network For Semi-supervised Learning

图卷积对图中节点的特征和图结构建模，本文中作者首先移除图卷积中的非线性变换，发现在GCN中起关键作用的是传播层，而不是感知层。然后提出AGNN模型，在传播层引入attention机制，使中心节点特征的聚合过程中，对邻居节点的注意力产生差异。模型在benchmark测试用的文献引用数据集上的效果优于其他state-of-the-art的方法。并且，通过传播矩阵计算节点之间的关联强度，得到了一些更有趣的信息。在预测目标节点类别时，与预测类别相同的邻居节点将会在此过程中，承担了比其他邻居节点更重要的角色。Gr.

2021-06-25 18:35:59 1446

原创论文学习笔记：Deep Insights into GCN for Semi-Supervised Learning

自从深度学习兴起，许多机器学习中有趣的问题重新被提起。最近提出的图卷积完美的整合了局部顶点特征和图拓扑信息。虽然GCN优于其他state-of-the-art的方法，但是GCN的工作机制并不清晰。本文介绍来自AAAI 2018的工作，深入的剖析了图卷积层中是什么在起作用，并且针对少量标签数据集上的GCN训练，提出Co-Training和self-Training方法。Graph ConvKipf & Welling提出的图卷积包括下面几步：1.利用图邻接矩阵创建图卷积滤镜。每个节点增加sel.

2021-06-25 18:33:29 198

原创论文学习笔记：Large-Scale Learnable Graph Convolutional Networks

来自KDD 2018 的工作，将graph数据转化成 grid-like 结构数据，可以直接传入卷积层。并且提出Sub-Graph Training，一种有效的根据图顶点抽样，得到子图训练模型的方法。解决图相关的深度学习模型内存和计算问题。本方法在各个baseline数据集上取得了state-of-the-art的效果。Learnable Conv on GraphLGCN 也是从中心节点邻居的特征中聚合出新的特征表达，但与GCN不同之处在于，它是将邻居节点的特征，结合中心节点本身的特征，转化为gri.

2021-06-25 18:29:48 431

原创论文学习笔记: Graph Attention Network

本文作者提出GATs方法，利用一个隐藏的self-attention层，来处理一些图卷积中的问题。不需要复杂的矩阵运算或者对图结构的事先了解，通过叠加self-attention层，在卷积过程中将不同的重要性分配给邻域内的不同节点，同时处理不同大小的邻域。作者分别设计了inductive setting和transductive setting的任务实验，GATs模型在基线数据集Cora、Citeseer、Pubmed citation和PPI数据集上取得了state-of-the-art的结果。GAT.

2021-06-25 18:26:33 230

原创论文学习笔记：Simplifying Graph Convolutional Networks

原文连接 https://arxiv.org/pdf/1902.07153.pdf本文作者提出SGC，通过移除非线性变换和压缩卷积层之间的权重矩阵来降低 GCN 的复杂性。并且作者在理论上分析了得到的线性模型，认为它实际上是一个固定的低通滤镜，后接线性分类器。实验表明，这种简化，并且不会对下游分类器的准确度带来负面影响。因此，模型可以推广到更大的数据集，并且比FastGCN产生高达两个数量级的加速。GCN中的网络层有个重要的功能，在每一层中，隐含状态的表达是由一步邻居的特征平均得到的。也就是说，K层之

2021-06-25 18:19:26 242

原创 # 论文学习笔记：Leveraging Meta-path based Context for Top-N Recommendation with A Neural Co-Attention Mode

以往的基于HIN的推荐模型存在两个不足。几乎不学习路径或者元路径的显式表达；只考虑user-item交互，而忽视了元路径与涉及到的user-item pair之间的相互影响。本文是来自KDD 2018的工作，不仅学习user和item的表达，还显式的表示user-item的基于元路径的上下文信息，并且提出co-attention机制来相互促进，改善三者的表达效果。预备知识隐式反馈：存在n个users U={u1,...,un}\mathcal{U}=\{u_1,...,u_n\}U={u1,....

2021-06-25 18:15:57 1193

原创论文学习笔记：node2vec

表征学习捕获网络中连接模式的多样性node2vec：学习网络中节点的连续特征表达，将节点映射到一个低维特征空间。最大化的保留节点邻域。在多标签分类和边预测优于当前的state-of-the-art技术。亮点：通过引入两个参数 p 和 q, 将宽度优先搜索和深度优先搜索引入了随机游走序列的生成过程 . 宽度优先搜索注重邻近的节点并刻画了相对局部的一种网络表示 , 宽度优先中的节点一般会出现很多次 , 从而降低刻画中心节点的邻居节点的方差 ; 深度优先搜索反应了更高层面上的节点间的同质性 .paper做

2021-06-25 18:05:13 655

weixin_40675092的博客