![](https://img-blog.csdnimg.cn/20200718164300287.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 54
深度学习笔记
贪心西瓜
学习笔记
展开
-
神经网络基础-损失函数
1. 损失函数定义损失函数衡量模型输出与真实值标签之间的差距。损失函数有三个名称。(1) 损失函数(Loss Function)是单个样本的名词:(2)代价函数(Cost Function)是总体样本的损失函数平均值:(3)目标函数(Objective Function)是总体优化目标,不仅包括损失函数,还有正则项:Obj = Cost + Regularization Term2. 回归任务的损失函数在回归任务中,常见的损失函数是均方误差MSE(Mean Squared原创 2021-11-27 17:17:52 · 1283 阅读 · 0 评论 -
神经网络基础-反向传播
在神经网络中,信息流动有两个方向,一个是向前传播,一个是向后传播。向前传播是指,输入层数据从前向后,逐步传递到输出层;向后传播是指,损失函数从后向前,将梯度逐步传递到第一层。向前传播用于计算预测值,向后传播为了修正预测值,将误差从最后一层传回第一层,利用链式求导的梯度修正参数,使网络输出的预测值更接近真实值,也就是使误差更小。此处有两个重要概念,衡量输出与真实值差异的损失函数,梯度反向传播的链式求导法则。(1)假设此处损失函数,其中表示预测值,y表示真实值。(2)微积分中,y=f(u),原创 2021-11-27 16:48:26 · 2319 阅读 · 0 评论 -
拉普拉斯矩阵
1、预备知识拉普拉斯矩阵定义为:L=D-W。其中,D为度矩阵,W为权重矩阵。(1)D是对角矩阵,对角线上的元素时节点的度,即所有与该节点相关联的边的权重之和;对角线以外的元素为0。有向图的对角矩阵分为 出度矩阵 和 入度矩阵。 图1.1 无向图中的度矩阵(2)W在无向图中是对称矩阵,在有向图中是非对称矩阵。 ...原创 2020-12-02 13:09:14 · 13354 阅读 · 5 评论 -
神经网络基础-多层感知机
1. 多层感知机的概念由于单层感知机被证明不能解决异或问题,神经网络的发展一度进入寒潮期,直到多层感知机的提出。多层感知机(Multi Layer Perceptron, MLP)在单层感知机的基础上引入了隐藏层。图1 多层感知机权重矩阵的行数是输入层的变量个数,列数是输出层的变量个数。2. 多层感知机的激活函数激活函数在多层感知机中至关重要,如果没有激活函数,多层感知机将退化为单层网络那么输出O可以整理为:说到底,多次线性变换可以用一次线性变换得到。但.原创 2021-11-27 15:32:26 · 1515 阅读 · 0 评论 -
神经网络基础-感知机
1. 人工神经元如图1是大脑神经元(左)和人工神经元(右),人工神经元是大脑神经元抽象出来的数学模型,被称为M-P模型。树突相当于人工神经元的输入(Inputs),细胞核是人工神经元的operation区域(包含由weights得到的sum求和、threshold非线性判断段处理),轴突末梢是人工神经元的输出(Output)。图1 人类神经元与人工神经元2. 人工神经网络人工神经网络 是 大量神经元以某种连接方式构成的机器学习模型。人工神经网络的种类繁多图2 人工..原创 2021-11-25 22:32:07 · 2495 阅读 · 1 评论 -
torch-scatter -cluster -spline -geometric 安装
今天真的是吐血,一定要把这个分享出去,让更多的人少走弯路。很少有人分享torch-scatter -cluster -spline -geometric 安装,找淘宝店给我安装,他竟然说不会!我只能自己寻找方法了!首先,相信很多人看过这个教程:https://github.com/rusty1s/pytorch_geometric#pytorch-170我来排一排这个教程的坑,就可以安装成功了。一、环境变量一定要切换到想要安装库的环境变量中conda env list ...原创 2021-02-26 22:20:22 · 1089 阅读 · 3 评论 -
pytorch与gpu信息查询
torch.cuda.is_available()cuda是否可用;torch.cuda.device_count()返回gpu数量;torch.cuda.get_device_name(0)返回gpu名字,设备索引默认从0开始;torch.cuda.current_device()返回当前设备索引原创 2021-02-26 14:47:51 · 99 阅读 · 0 评论 -
张量的创建、属性及运算
1. 张量的创建import numpy as np标量(0D 张量)x = np.array(1)print(x)print(x.ndim)10向量(1D 张量)y = np.array([1,2,3])print(y)print(y.ndim)[1 2 3]1矩阵(2D 张量)z = np.array([[1,2,3], [4,5,6], [7,8,9]])print(z)print...原创 2020-07-22 14:05:07 · 277 阅读 · 0 评论 -
张量常见示例
数据类别 阶 形状 向量数据 2D张量 (samples, features) 时间序列数据 3D张量 (samples, timesteps, features) 图像 4D张量 (samples, height, width, channels) 视频 5D张量 (samples, frames, height, width, channels) ...原创 2020-07-22 10:31:13 · 378 阅读 · 0 评论