Machine Learning
文章平均质量分 57
flying_coder
graph representation learning、Anomaly Detection, Graph Prompt Learning, Graph Foundation Model
展开
-
基于高斯过程的贝叶斯优化
因为目前来看,最常用的贝叶斯优化方法是基于高斯过程的,所以本篇blog主要记录基于高斯过程的贝叶斯优化方法的使用(不讲理论,不讲理论~)一、贴两个比较关键的基于高斯过程的贝叶斯优化包:1. BayesianOptimization ---https://github.com/fmfn/BayesianOptimization2. Botorch ---https://github.com/pytorch/botorch我个人更加推荐第一个,实现和修改起来更加的方便。二、关于贝叶斯..原创 2021-09-03 15:20:47 · 2700 阅读 · 0 评论 -
如何引入先验知识——Embedding Symbolic Knowledge into Deep Networks——纯属个人思考,极有可能出错,自行取用
纯属个人思考,极有可能出错,自行取用一、Abstract:使用先验符号知识 -> 改善深度模型的效果如何使用先验符号知识:图表征网络——将命题公式转化到一个mainfold(空间)。得到了什么?具有语义可靠的表征(semantically-faithful embedding)——能够在学习的过程中,将命题公式的信息一并加入到模型中,使其获得一定根据规则判断的能力进一步的工作:阐明为什么这么做能够将知识编写与向量表示学习进行联系二、Introduction:目前的De.原创 2021-04-05 12:27:48 · 3065 阅读 · 1 评论 -
关于图神经网络的相关学习资源的分享——网站 博客(一)
图神经网络论文作者讲座——详细介绍——好的网站名称:ML Explained - Aggregate Intellect - AI.SCIENCE主站:https://ai.science/streams/graph-neural-nets?graph-neural-nets-tabs=videosYouTube页面:https://www.youtube.com/watch?v=W1GvX2ZcUmYGNN大佬Michael Bronstein教授博客:https://medium.com/@mi原创 2021-01-25 11:37:24 · 318 阅读 · 0 评论 -
如何理解UCB-Upper Confidence Bound
转载自:https://zhuanlan.zhihu.com/p/32356077博主讲的非常好,假设我们开了一家叫Surprise Me的饭馆客人来了不用点餐,由算法从N道菜中选择一道菜推荐给客人 每道菜都有一定的失败概率:以1-p的概率不好吃,以p的概率做得好吃 算法的目标是让满意的客人越多越好。解决方法:def UCB(t, N): upper_bound_probs = [avg_rewards[item] + calculate_delta(t, item)转载 2021-01-13 18:03:37 · 1061 阅读 · 0 评论 -
核函数的理解——映射与核的关系
首先可以先看一下几个常见的核函数,明确一点,核函数的目标是为了更加简便的计算从低维空间映射到高维空间后内积的运算问题,也就是基于现有的低维空间向量,能够计算出映射到高维空间后的内积。既然有这个性质,那么每一个核函数必然要对应一个从低维到高维的映射函数,换句话来说,只有能找到一个映射,使得从低维映射到高维后的坐标内积能够与核函数计算出的值相同,那么当前所找出的核函数才是有意义的。例如,线性核:,假定v1是二维向量,对应的映射为,< >代表的是向量内积,可以做如下的推演,可知当前的线性核原创 2021-01-12 13:44:55 · 4156 阅读 · 0 评论 -
VAE方法新理解
关于变分自编码器 ,在给师兄讲解的过程中,发现了自己理解的偏差,首先明确一点VAE本身不是从AE联想过来的,AE的过程本身是对输入信息x的一个提取,每一个x会对应提取的一个特征z,根据这个特征z经过解码器有能够得到还原后的x'。这个地方不应该从概率的角度去理解,而应该从变换的角度去理解,相当于是对输入x学习了一个变换,从而提取x的信息,并对信息进行了一个解码。针对于VAE的思路,他的源论文是《Auto-EncodingVariationalBayes》。源论文的直观意思并不是变分自编码器,变分自...原创 2020-12-27 18:21:48 · 809 阅读 · 0 评论 -
pytorch Tensor及其基本操作
今日好文,在使用pytorch过程中遇到了tensor的处理问题,这篇知乎文章中作者zcyanqiu写得非常全面,特转载,望能够帮助到大家~转载:本章只是对pytorch的常规操作进行一个总结,大家看过有脑子里有印象就好,知道有这么个东西,需要的时候可以再去详细的看,另外也还是需要在实战中多运用。Tensor attributes:在tensor attributes中有三个类,分别为torch.dtype, torch.device, 和 torch.layout其中, torch转载 2020-12-21 13:46:27 · 583 阅读 · 0 评论 -
人工智能原理——博弈树搜索(α-β剪枝)
直接附入我的笔记图片:原创 2019-12-06 17:40:50 · 5713 阅读 · 1 评论 -
AO*算法详解,附例子和算法详细步骤
Procedure AO* 1.建立一个只由根节点构成的搜索图G. s的费用 q(s) := h(s), G’:=G. 如果s是目标,标记s为SOLVED. 2.Until s被标记为 SOLVED,do: 3.begin 4. 通过跟踪从s出发的有标记的连接符计算部分解图G’(...原创 2019-12-05 09:39:48 · 19368 阅读 · 27 评论 -
A算法和A*算法详解
字太多了直接放笔记的图片吧,如有不对请指正A算法和A*算法都适用1、用初始节点初始化搜索图G (动态变化),将初始节点放入open表(还没有扩展的节点)中,然后初试closed(已经扩展完成的节点)表赋空NULL2、如果open表不为空进入循环 2.1 将open表中的第一个元素的指针赋给临时变量n表示当前遍历的节点,然后将当前节点n的指针假如到closed表表示扩展完成 ...原创 2019-12-02 18:07:08 · 29510 阅读 · 6 评论 -
【直观详解】信息熵、交叉熵和相对熵
转载自:https://charlesliuyx.github.io/2017/09/11/%E4%BB%80%E4%B9%88%E6%98%AF%E4%BF%A1%E6%81%AF%E7%86%B5%E3%80%81%E4%BA%A4%E5%8F%89%E7%86%B5%E5%92%8C%E7%9B%B8%E5%AF%B9%E7%86%B5/【阅读时间】10min - 13min【内...转载 2019-10-21 20:32:19 · 742 阅读 · 0 评论 -
CBOW理解 整合双语信息
Vector space model is well known in information retrieval where each document is represented as a vector. The vector components represent weights or importance of each word in the document. The simila...原创 2019-09-23 19:48:06 · 245 阅读 · 0 评论 -
pytorch在anaconda下安装
安装pytorch的时候一定要注意在anaconda下的安装环境,比如我自己使用的是python3.6但是anaconda是py3.7。那么我在安装pytorch的时候就会选择pytorch的py3.6版本,然后再cmd下使用conda activate xxx3.6进入anaconda下的py3.6子环境里面进行安装。...原创 2019-02-23 21:58:34 · 421 阅读 · 0 评论 -
from scipy.misc import imread 报错原因
https://www.cnblogs.com/misswjr/p/9579698.html用python scipy中执行from scipy.misc import imread, imsave, imresize语句时,会报出如下错误然后找到http://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy中安装scipy的界面,发现安装scipy需要...转载 2019-06-01 10:21:49 · 7501 阅读 · 1 评论 -
针对python矩阵运算的理解
原创 2019-09-02 16:37:18 · 450 阅读 · 0 评论 -
机器学习笔记-摩尔定律复现以及注意事项
import matplotlibimport matplotlib.pyplot as pltimport numpy as npimport pandas as pdimport mathtransistor_counts=pd.read_csv("transistor_counts.csv")transistor_counts.columns=['year','mounts...原创 2019-09-09 16:24:44 · 168 阅读 · 0 评论 -
机器学习笔记——感知机理解(自行取用,并不一定适合每个人)
比较渣渣,一开始不是很理解为什么设置wx+b=0其实是这样子的 如果对于输入的x只有一个特征,那么超平面其实就是一个点,在这个点的两侧进行分类如果上升到w1x1+w2x2+b=0,比如2x1+x2+1=0 就存在(1,-3),(0,-1),(-0.5,0)...等等的一系列点符合这个方程,所以对于具有两个特征的输入来说,这是的方程所确定的就是一系列点的集合,根据这个集合来进行分类,这是...原创 2019-09-09 19:53:00 · 211 阅读 · 1 评论 -
机器学习——关于感知机概念的理解(可能只对本人适用)
各位不介意可以看看:对于机器学习精讲中:max(0,-yp(b+xpTw))=0 ,这一个分类公式,一开始进入了一个误区,以为这个公式算出来的都是正确分类的,显然不是,一旦出现在超平面>0的一侧但是其y是<0的,那么自然的来看max(0,-yp(b+xpTw))这个公式算出的值是大于0的,就出现了分类错误的情况。此时就顺势往下进行引导得到感知机的代价函数.......原创 2019-09-09 20:53:41 · 176 阅读 · 0 评论 -
代价函数详解(合页代价与softmax代价)
转载 2019-09-10 11:40:54 · 194 阅读 · 1 评论 -
sitck-breaking折棍法理解
转载 2019-09-15 13:37:57 · 594 阅读 · 0 评论 -
机器学习精讲(向量逼近+函数逼近)学习笔记——第五章
这一章一开始阅读对P是什么把握的不好,下面是具体的讲解本书的部分章节内容可以参考:https://github.com/jermwatt/machine_learning_refined机器学习精讲(基础、算法及应用)——Jeremy Watt 杰瑞米·瓦特;Reza Borhani 雷萨·博哈尼 ;Aggelos K. Katsaggelos 阿格洛斯·K·卡萨格罗斯 杨博(译者)——...原创 2019-09-16 21:11:38 · 1146 阅读 · 0 评论 -
机器学习精讲中7.1固定特征核中关于N维向量多项式特征映射的理解(一)
如果样本量多,逻辑回归问题很复杂,而原始特征只有x1,x2可以用多项式创建更多的特征x1、x2、x1x2、x1^2、x2^2、... X1^nX2^n。因为更多的特征进行逻辑回归时,得到的分割线可以是任意高阶函数的形状。feature mapping(特征映射)polynomial expansionfor i in 0..powerfor p in 0..i:output x1^...转载 2019-09-17 22:04:56 · 829 阅读 · 0 评论 -
Logistic(对数几率)回归
判断学习速率是否合适?每步都下降即可。这篇先不整理吧... 这节学习的是逻辑回归(Logistic Regression),也算进入了比较正统的机器学习算法。啥叫正统呢?我概念里面机器学习算法一般是这样一个步骤: 1)对于一个问题,我们用数学语言来描述它,然后建立一个模型,例如回归模型或者分类模型等来描述这个问题; 2)通过最大似然、最大后验概率或者最小化分类误差等等建立模型的代价函数,也就...转载 2018-04-17 16:27:36 · 3312 阅读 · 0 评论