李滚滚的博客

原创 基于attention的半监督GCN【包括极简例子理解图卷积神经网络的传播过程】

文章目录摘要Introduction相关工作摘要  基于GNN的模型在一些基本数据集上进行半监督学习，都表现出了比现有方法更出色的效果。这些网络结构的基本结构是：聚合局部邻域隐藏状态的传播层 与 全连接层交替组合。令人感到惊讶的是，取消了中间所有全连接层的线性模型仍然能够取得非常好的效果。这对于标记样本非常少的半监督学习是非常有意义的，因为会减少很多参数；也为设计更新颖的传播层提供了空间。...

原创 从信息指纹到散列表（哈希表）到布隆过滤器到位数组

面试题目中经常会出现判断一个元素是否在一个集合中，以垃圾邮件过滤器来说，如果要判断一封邮件是不是垃圾邮件，就要在存储的垃圾邮件地址集合中进行比对，判断该邮件地址在不在集合里。这里就涉及到快速查找，高效存储的问题，从这个问题出发，总结了以下相关的理论名词，便于自己记忆。

原创 数学之美到统计学习方法第十一章条件随机场 ——从应用到公式推导

文章目录一 从应用问题引入1.1 从HMM到CR——自然语言处理1.2 [如何轻松愉快地理解条件随机场（CRF）？](https://www.jianshu.com/p/55755fc649b1)二 概率无向图模型2.1 概率图模型定义2.2 概率无向图的因子分解三 条件随机场（CRF）基本问题四 CRF概率计算问题五 CRF训练算法六 CRF预测算法  摘要：数学之美致力于普通人群也能看懂，所...

原创 从《数学之美》到李航《统计学习方法》的隐马尔科夫模型及python实现课后习题

文章目录一 自然语言处理与隐马尔科夫模型（HMM）二 隐马尔科夫模型（HMM）基本概念三 HMM概率计算方法（前向算法与后向算法简化）四 HMM的学习算法（模型训练求解模型参数）五 HMM预测算法（维特比算法）  主要对《数学之美》隐马尔科夫模型，维特比和他的维特比算法、《统计学习方法》第十章、徐亦达HMM概率模型的内容进行总结消化。  隐马尔科夫模型(HMM)最初应用于通信领域，继而推广到语...

原创 李航/徐亦达 统计学习方法第九章EM算法及其推广总结和习题答案

强烈推荐徐亦达老师关于EM算法的讲解视频，本文根据徐老师和李航老师统计学习方法整理，由于公式推导太多，笔记为手写。其中包含混合高斯模型的理解，形象化解释，以及习题链接。习题习题9.1和9.3习题9.4...

翻译 论文翻译-A Comprehensive Survey on Graph Neural Networks《图神经网络GNN综述》

文章目录1 简介1.1 GNN简史1.2 GNN的相关研究1.3 GNN vs 网络嵌入1.4 文章的创新型2 定义3 分类和框架3.1 GNNs分类3.2 框架4 图卷积网络4.1 基于光谱的GCN4.1.1 背景4.1.2 基于光谱的GCN方法4.1.3 总结4.2 基于空间的GCN4.2.1 基于循环的空间GCNs4.2.2 基于组合的空间GCNs4.2.3 空间GCNs的其他变体4.3 图...

原创 RNN的大家族啊~~

文章目录1 基本RNN单元及其变种1.1 RNN模型形象化理解1.1.1 序列数据1.1.2 递归神经网络及用例1.1.3 梯度消失1.2 RNN基本模型1.2.1 RNN网络模型1.2 LSTM单元1.3 GRU单元1.4 双向RNN1.5 带有其他特性的RNN单元2 RNN模型2.1 PTB-LSTM语言模型2.2 Seq2Seq模型2.3 Relational-RNN（attention）2...

原创 PG-GAN 分类: ValueError: could not broadcast input array from shape (16,4,4,3) into shape (16)

Traceback (most recent call last): File "main.py", line 69, in <module> pggan.train() File "D:\我的文档\**.py", line 199, in train sess.run(opti_D, feed_dict={self.images: realbatch_arra...

原创 非局部均值滤波和用于高光谱分类的新颖度量方式的NLM

文章目录1 均值和非均值局部滤波2 论文【使用新的相似性度量方法做非局部均值滤波】1 均值和非均值局部滤波均值滤波器利用滑窗的方式以滑窗的均值代替中心像素的值，进行滤波。缺点：当方框的半径越大，得到的图像中那些变化较大的地方（边缘）计算后变化就越小，即边缘不明显，即模糊；而且像素之间的相似性并不局限于一个很小的块，像是长边缘，或者结构纹理就可能再很远的地方仍然存在相似性。非局部均值滤...

转载 深度学习之收敛问题

数据库太小一般不会带来不收敛的问题，只要你一直在train总会收敛（rp问题跑飞了不算）。反而不收敛一般是由于样本的信息量太大导致网络不足以fit住整个样本空间。样本少只可能带来过拟合的问题，你看下你的training set上的loss收敛了吗？如果只是validate set上不收敛那就说明overfitting了，这时候就要考虑各种anti-overfit的trick了，比如dropout...

转载 深度学习之参数初始化——Xavier初始化

文章目录标准初始化方法形式激活值和梯度特性实验Xavier初始化形式满足Glorot条件的初始化激活值和梯度特性实验Xavier初始化的缺点Understanding the difficulty of training deep feedforward neural networks by Xavier Glorot, Yoshua Bengio in AISTATS 2010.本文介绍一下...

原创 从暴力递归到动态规划

文章目录1. 递归2. 动态规划1. 递归2. 动态规划

原创 贪心策略&典型题目C++实现

文章目录1. 前缀树2. 贪心策略1. 前缀树2. 贪心策略

原创 前缀树及C++实现

文章目录前缀树1 什么是Trie树2 树的构建与查询3 Trie树的应用4 C++实现Trie树，以及解决一些字符串问题前缀树1 什么是Trie树  Trie树，即前缀树，又称单词查找树，字典树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。  Trie树的核心思想是空间换时间，利用字符串的公共前缀来降...

原创 哈希表&一致性哈希&超有爱的并查集

文章目录1. 哈希函数，哈希表与布隆过滤器2. 设计RandomPool结构3. 一致性哈希4. 并查集结构5. 并查集结构应用【岛问题】1. 哈希函数，哈希表与布隆过滤器  链接 ： https://blog.csdn.net/weixin_35479108/article/details/88830850 中，我总结了有关于信息指纹，哈希表，布隆过滤器，位数组的内容。  补充一点内容，有...

转载 Multi-Label Image Recognition with Graph Convolutional Networks【基于图卷积网络的多标签图像识别模型】

文章目录导语介绍方法动机图卷积网络简介用于多标签识别的GCN相关系数矩阵结论转自旷视研究院导语  多标签图像识别（multi-label image recognition）任务的目标是预测一张图像中出现的多个物体标签，其在搜索引擎、推荐系统中应用广泛，长期以来作为计算机视觉和机器学习领域一项基础研究课题备受学界业界关注。由于多个相关物体通常同时出现在一副图像之中，因此提升识别性能的一个理想...

原创 二叉树常见题目及C++实现

文章目录题目一 实现二叉树先序中序后序遍历，包括递归和非递归实现题目二：如何直观地打印一颗二叉树题目三：在二叉树中找到某一个节点的后继节点题目一 实现二叉树先序中序后序遍历，包括递归和非递归实现  关于三种遍历方式的递归在数据结构的课本上应该写的很清楚，理解起来很简单，不多做总结。  通过看视频多了一点理解，在二叉树的递归遍历中，因为递归实现本质上是个系统栈，所以每个节点都会访问到三次，包括...

原创 排序算法总结及C++实现

文章目录1 引入 认识时间复杂度2 补充 对数器3 排序算法分析3.1 基于比较的排序3.1.1 冒泡排序3.1.2 选择排序3.1.3 插入排序3.1.4 归并排序补充题目 小和问题补充题目 逆序数3.1.5 快速排序3.1.6 堆排序3.2 非基于比较的排序3.2.1 计数排序3.2.2 桶排序3.2.3 基数排序4 排序总结4.1 稳定性4.2 工程中的综合排序算法4.3 有关排序...

原创 常见队列栈链表面试题目及C++实现

文章目录1 只使用一个数组，实现大小固定的栈和队列2.实现一个特殊的栈，在实现栈的基本功能的基础上，再实现返回栈中最小元素的操作。3 如何仅用队列结构实现栈结构？ 如何仅用栈结构实现队列结构？4 猫狗队列 【题目】 宠物、狗和猫的类如下：5. 转圈打印矩阵6 一个正方形N*N，顺时针转90度，如何？ 【咦，不是矩阵转置吗】7 反转单向和双向链表8.“之”字形打印矩阵9 在行列都排好序的矩阵中找...

原创 《剑指offer》题目汇总

文章目录面试题1 赋值运算符函数以上是基本的内容，但还是有代码异常安全性问题存在。面试题1 赋值运算符函数题目：如下为类型CMyString的声明，请为该类型添加赋值运算符函数。class CMyString{public: CMyString(char* pData = nullptr); CMyString(const CMyString& str); ~CMyStri...

原创 C++基础知识相关的题目汇总

第十章 对象和1.为什么在创建类对象时，既可以通过初始化的方式，也可以通过赋值来设置对象的值，应采用初始化的方式？注：两种区别：Stock stock1 = Stock(“Boffo Objects”,2,2.0); // 通过构造函数初始化stock1对象。stock1 = Stock(“Nifty Foods”,10,50.0); // 通过赋值的方式给stock1对象以值答：这...

原创 LeetCode之树相关题目总结

题目：Given a binary tree, find its minimum depth.The minimum depth is the number of nodes along the shortest path from the root node down to the nearest leaf node.  思路一：该题目最直观的想法应该是，给定一个二叉树，直观看上去，哪一层最先...

原创 LeetCode 之 linked-list-cycle【检测链表中是否有环】

题目: Given a linked list, determine if it has a cycle in it.  Follow up:  Can you solve it without using extra space?  思路一：要达到的目的，检测链表中是否有环，首先第一个思路可以是遍历整个链表，并标记访问过的节点，如果重复访问了某个节点，说明该链表中有环。该思路实现简单，...

原创 李航-《统计学习方法》第七章支持向量机

文章目录一 模型1.1 线性可分支持向量机与硬间隔最大化1.2 线性支持向量机与软间隔最大化1.3 非线性支持向量机与核函数二 策略三 算法[序列最小最优化算法SMO]支持向量机  二分类模型       基本模型：定义在特征空间上的间隔最大的线性分类器，间隔最大使之区别于感知机       扩展 模型：核技巧，实质上成为非线性分类器       学习策略：间隔最大化，形式化为求解凸二次规...

原创 深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

  本文摘自深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件，由于原文公式看着实在头疼，重新整理了一遍，有需要可以交流。  在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个...

原创 李航 《统计学习方法》第七章支持向量机习题答案

1.比较感知机的对偶形式和线性可分支持向量机的对偶性形式。感知机原始形式： min⁡w,bL(w,b)=−∑xiϵM(yi(w⋅xi+b))\min_{w,b} L(w,b) = - \sum_{x_i\epsilon M}(y_i(w\cdot x_i+b))w,bmin​L(w,b)=−xi​ϵM∑​(yi​(w⋅xi​+b))MMM为误分点的集合。等价于min⁡w,bL(w,b)=∑i=1...

转载 LaTeX 各种命令，符号总结

LaTex公式总结

原创 模糊超像素（FS）用于分类

一. 研究现状极化合成孔径雷达（极化SAR）能在全天时全天候的条件下提供卫星遥感图像信息。针对极化SAR图像的分类是计算机视觉应用的一个主要方向。由于电磁波在不同的偏振状态下发送和接收信息，因此相比于SAR图像，极化SAR图像包含更多的可用信息。然而，由相干成像机制引起的斑点噪声以及极化SAR图像复杂的存储格式严重影响了极化SAR图像的理解与解译。目前，针对极化SAR图像提出了很多图像处理技术。...

原创 Superpixel-Based Unsupervised Band Selection for HIC 基于超像素的无监督波段选择

传统空间信息通过固定邻域窗口提取。对于HSI，固定窗口通常不能满足分类要求因为图像中地物目标的不同大小和复杂形状。超像素算法通过采用的分割模型能够分为基于图和基于聚类的方法。两个类别的典型算法是：ERS，熵率超像素分割；SLIC,简单线性迭代聚类。ERS,图像被映射到一个图上，其中每个像素被看作是顶点，像素对相似性定义为边权重。通过最大化图拓扑目标函数获得紧密同质且大小相似的超像素。SLIC可以...

原创 AP近邻传播算法理解

AP（Affinity propagation）基于近邻传播的半监督聚类算法。主要参考：AP总结基本思想通过信息传递机制 搜索 网络中 各个数据点的聚类中心，以及数据点与数据中心之间的隶属度关系根据数据中心与顶点之间的隶属度关系来对待聚类数据集进行划分，形成若干个具有特定意义的子集。优点聚类过程中不需要明确确定与聚类个数相关的参数聚类中心是待聚类数据的某个确切的数据点算法的输入...

原创 李航《统计学习方法》——第六章逻辑回归和最大熵模型笔记及理解+习题

习题6.1确认逻辑斯蒂分布属于指数族分布指数族分布,满足一下形式P(y;η)=b(y)exp(ηTT(y)−a(η))P(y;\eta) = b(y)exp(\eta^TT(y)-a(\eta))P(y;η)=b(y)exp(ηTT(y)−a(η))η被称为分布的自然参数（也称为规范参数）T(y)是充分统计量（通常情况下有T(y)=y）a(η)被称为对数划分函数。这一项本质上是起到了正则化...

原创 李航《统计学习方法》——第五章决策树及Python实现（附习题答案）

发布文章先感叹一下，C++水平真的差啊~~~~人生苦短，我用Python决策树是一种基本的分类与回归模型，呈树形结构。可以看作if-then的处理结构，也可以看作条件概率分布，对特征空间进行划分，在子特征空间进行类别判断，大于阈值则属于子空间的类别。优点： 可读性强，分类速度快（学习模型构建树的时候比较慢，但是一般模型都是离线的，所以问题不大）1 模型由结点和有向边组成，结点有两种类型，...

原创 AffinityNet:Semi-supervised Few-shot Learning for Disease Type Prediction——疾病预测的半监督小样本学习_亲和网络

骨架堆叠 KNN attention pooling layers , 是 Graph Attention Networks的泛化，首先不需要提前计算图，which is difficult for some kind of data（有没有graph都可以），其次不需要输入整幅图，将图分割有利于计算。...

原创 Graph Attention Networks——《论文阅读》

引言图像，通常被理解为矩阵，矩阵的每个元素是像素，像素是（Red，Green，Blue）三个数值组成的向量。换个角度，矩阵也可以理解为图谱（Graph），图谱由点（node）和边（edge）组成。相邻的点之间，有边相连。而矩阵是一种特殊的图谱，特殊性表现在两方面：**矩阵每个点有固定个数的邻点。**从图谱的角度看，图像中的像素，就是图谱中的点。图像中每个像素，也就是图谱中的每个点，周边总共...

原创 Pytorch分类错误——Assertion cur_target 大于等于 0 and cur_target 小于 n_classes failed

RuntimeError: Assertion `cur_target &gt;= 0 &amp;&amp; cur_target &lt; n_classes' failed. at c:\programdata\miniconda3\conda-bld\pytorch-cpu_1532498166916\work\aten\src\thnn\generic/ClassNLLCriterion...

原创 《统计学习方法》——第四章朴素贝叶斯及C++实现

发布文章 博文管理我的博客退出 Trash Temp 《统计学习方法》——第二章感知机 《统计学习方法》——第二章感知机及C++实现 《统计学习方法》——第二章感知机及C++实现 《统计学习方法》——第三章KNN及C++实现 《统计学习方法》——第三章及C++实现 《统计学习方法》...

原创 《统计学习方法》——第三章KNN及C++实现

Input : 特征向量Output : 实例类别基本分类回归问题，不具显示学习过程，整个过程有三个学习要素K值选择 [一般使用交叉验证的方法选择K值，使经验误差最小][K小，模型复杂，容易过拟合，受噪声影响较大；K大，模型简单（K=N）]距离度量 [包括各种距离度量公式，p范数，以及各种改进的相似性度量方法][不同的距离测量公式得到的K邻近点是不一样的]分类决策准则 （如多数表决...

原创 《统计学习方法》——第二章感知机及C++实现

发布文章 博文管理我的博客退出 Trash Temp 《统计学习方法》——第二章感知机 《统计学习方法》——第一章 卷积神经网络(CNN) Input : 特征向量Output : 类别（+1/-1） 【二分类】直接学习f 或者P(Y|X) ——&amp;amp;amp;gt; 判别模型模型：f(x)=sign(wTx+b)f(x)=s...

原创 《统计学习方法》——第一章思维导图

原创 卷积神经网络(CNN)卷积核与滤波器理解

CNN卷积神经网络接触很久了，但是总感觉有一种很朦胧的感觉，今天按照自己的理解重新整理了一下思路。