- 博客(39)
- 收藏
- 关注
RSS订阅原创 深度学习第六章：循环神经网络(RNN) 【笔记】
时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。一般的神经网络，在训练数据足够、算法模型优越的情况下，给定特定的x，就能得到期望y。其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比如： 当我们在理解一句话意思时，孤立的理解这句话的每个词不足以理解整体意思，我们通常需要处理这些词连接起来的整个序列； 当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分
2024-06-11 11:00:00
1053
原创 深度学习第四章：经典网络【笔记】
LeNet-5是由LeCunLeCunLeCun提出的一种用于识别手写数字和机器印刷字符的卷积神经网络（Convolutional Neural Network，CNN）1^{[1]}1，其命名来源于作者LeCunLeCunLeCun的名字，5则是其研究成果的代号，在LeNet-5之前还有LeNet-4和LeNet-1鲜为人知。
2024-06-09 15:57:00
647
原创 深度学习第三章：深度学习基础（2）【笔记】
以前在神经网络训练中，只是对输入层数据进行归一化处理，却没有在中间层进行归一化处理。要知道，虽然我们对输入数据进行了归一化处理，但是输入数据经过 $ \sigma(WX+b) $ 这样的矩阵乘法以及非线性运算之后，其数据分布很可能被改变，而随着深度网络的多层运算之后，数据分布的变化将越来越大。如果我们能在网络的中间也进行归一化处理，是否对网络的训练起到改进作用呢？答案是肯定的。 这种在神经网络中间层也进行归一化处理，使训练效果更好的方法，就是批归一化Batch Normalization（BN）。
2024-06-09 15:45:25
795
原创 深度学习第三章：深度学习基础（1）【笔记】
神经网络类型众多，其中最为重要的是多层感知机。为了详细地描述神经网络，我们先从最简单的神经网络说起。感知机多层感知机中的特征神经元模型称为感知机，由Frank Rosenblatt于1957年发明。简单的感知机如下图所示：其中x1x_1x1，x2x_2x2，x3x_3x3为感知机的输入，其输出为：output={0,if ∑iwixi⩽threshold1,if ∑iwixi>thresholdoutput = \left\{\begin{aligned}0, \quad if \ \ \s
2024-06-09 15:20:22
1144
原创 深度学习第二章：机器学习基础（5）【笔记】
决策树（Decision Tree）是一种分而治之的决策过程。一个困难的预测问题，通过树的分支节点，被划分成两个或多个较为简单的子集，从结构上划分为不同的子问题。将依规则分割数据集的过程不断递归下去（Recursive Partitioning）。随着树的深度不断增加，分支节点的子集越来越小，所需要提的问题数也逐渐简化。当分支节点的深度或者问题的简单程度满足一定的停止规则（Stopping Rule）时, 该分支节点会停止分裂，此为自上而下的停止阈值（Cutoff Threshold）法；有些决策树也使
2024-05-25 12:00:00
657
原创 深度学习第二章：机器学习基础（4）【笔记】
线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的降维方法。和主成分分析PCA不考虑样本类别输出的无监督降维技术不同，LDA是一种监督学习的降维技术，数据集的每个样本有类别输出。多维空间中，数据处理分类问题较为复杂，LDA算法将多维空间中的数据投影到一条直线上，将d维数据转化成1维数据进行处理。对于训练数据，设法将多维数据投影到一条直线上，同类数据的投影点尽可能接近，异类数据点尽可能远离。
2024-05-25 08:30:00
502
原创 深度学习第二章：机器学习基础（3）【笔记】
损失函数（Loss Function）又叫做误差函数，用来衡量算法的运行情况，估量模型的预测值与真实值的不一致程度，是一个非负实值函数，通常使用$L(Y, f(x))$来表示。损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。若度量模型参数变化引起的概率分布变化，常用的“距离”度量是KL散度（Kullback-Leibler divergence）。设模型概率分布为px;θp(x;\theta)px;θDKLpx;θ∣。
2024-05-24 13:10:41
461
原创 深度学习第二章：机器学习基础（2）【笔记】
广义线性模型家族里，依据因变量不同，可以有如下划分：（1）如果是连续的，就是多重线性回归。（2）如果是二项分布，就是逻辑回归。（3）如果是泊松（Poisson）分布，就是泊松回归。（4）如果是负二项分布，就是负二项回归。（5）逻辑回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。所以实际中最常用的就是二分类的逻辑回归。逻辑回归可用于以下几个方面：（1）用于概率预测。用于可能性预测时，得到的结果有可比性。比如根据模型进而预测在不同的自变量情况下，发生某病或某种情况的概率有多大
2024-05-24 12:10:28
586
原创 深度学习第二章：机器学习基础（1）【笔记】
神经网络就是按照一定规则将多个神经元连接起来的网络。不同的神经网络，具有不同的连接规则。例如全连接(Full Connected, FC)神经网络，它的规则包括：（1）有三种层：输入层，输出层，隐藏层。（2）同一层的神经元之间没有连接。（3）fully connected的含义：第 N 层的每个神经元和第 N-1 层的所有神经元相连，第 N-1 层神经元的输出就是第 N 层神经元的输入。（4）每个连接都有一个权值。神经网络架构 图2-1就是一个神经网络系统，它由很多层组成。
2024-05-24 12:05:41
600
原创 深度学习第一章：数学基础【笔记】
深度学习通常又需要哪些数学基础？深度学习里的数学到底难在哪里？通常初学者都会有这些问题，在网络推荐及书本推荐里，经常看到会列出一系列数学科目，比如微积分、线性代数、概率论、复变函数、数值计算、优化理论、信息论等等。这些数学知识有相关性，但实际上按照这样的知识范围来学习，学习成本会很久，而且会很枯燥，本章我们通过选举一些数学基础里容易混淆的一些概念做以介绍，帮助大家更好的理清这些易混淆概念之间的关系。标量（scalar）一个标量表示一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组）。
2024-05-24 11:29:34
523
原创 【LaTeX应用】常用数学公式和符号
在 latex 中，字符 #、 $、 %、 &、 ˜、 ˆ、 n、 _、 {、 } 的含义特殊，不能直接表示。
2024-05-24 11:24:38
124
原创 清华开源语言大模型ChatGLM-6B调研
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
2023-11-30 20:54:33
1599
原创 强化学习——基于机器学习_周志华
**强化学习**（Reinforcement Learning，简称**RL**）是机器学习的一个重要分支，前段时间人机大战的主角AlphaGo正是以强化学习为核心技术。在强化学习中，包含两种基本的元素：**状态**与**动作**，**在某个状态下执行某种动作，这便是一种策略**，学习器要做的就是通过不断地探索学习，从而获得一个好的策略。例如：在围棋中，一种落棋的局面就是一种状态，若能知道每种局面下的最优落子动作，那就攻无不克/百战不殆了~
2023-09-20 00:15:00
329
原创 概率图模型——基于机器学习_周志华
**概率图模型**（probabilistic graphical model）是一类用**图结构**来表达各属性之间相关关系的概率模型，一般而言：**图中的一个结点表示一个或一组随机变量，结点之间的边则表示变量间的相关关系**，从而形成了一张“**变量关系图**”。若使用有向的边来表达变量之间的依赖关系，这样的有向关系图称为**贝叶斯网**（Bayesian nerwork）或有向图模型；若使用无向边，则称为**马尔可夫网**（Markov network）或无向图模型。
2023-09-19 00:15:00
201
原创 半监督学习——基于机器学习_周志华
**主动学习需要与外界进行交互/查询/打标，其本质上仍然属于一种监督学习**。事实上，无标记样本虽未包含标记信息，但它们与有标记样本一样都是从总体中独立同分布采样得到，因此**它们所包含的数据分布信息对学习器的训练大有裨益**。如何让学习过程不依赖外界的咨询交互，自动利用未标记样本所包含的分布信息的方法便是**半监督学习**（semi-supervised learning），**即训练集同时包含有标记样本数据和未标记样本数据**。
2023-09-18 00:15:00
190
原创 计算学习理论——基于机器学习_周志华
计算学习理论（computational learning theory）是通过“计算”来研究机器学习的理论，简而言之，其目的是分析学习任务的本质，例如：**在什么条件下可进行有效的学习，需要多少训练样本能获得较好的精度等，从而为机器学习算法提供理论保证**。
2023-09-17 00:15:00
200
原创 特征选择与稀疏学习——基于机器学习_周志华
在机器学习中特征选择是一个重要的“**数据预处理**”（**data** **preprocessing**）过程，即试图从数据集的所有特征中挑选出与当前学习任务相关的特征子集，接着再利用数据子集来训练学习器；稀疏学习则是围绕着稀疏矩阵的优良性质，来完成相应的学习任务。
2023-09-16 00:15:00
218
原创 降维与度量学习——基于机器学习_周志华
样本的特征数称为**维数**（dimensionality），当维数非常大时，也就是现在所说的“**维数灾难**”，具体表现在：在高维情形下，**数据样本将变得十分稀疏**，因为此时要满足训练样本为“**密采样**”的总体样本数目是一个触不可及的天文数字，谓可远观而不可亵玩焉...**训练样本的稀疏使得其代表总体分布的能力大大减弱，从而消减了学习器的泛化能力**；同时当维数很高时，**计算距离也变得十分复杂**，甚至连计算内积都不再容易，这也是为什么支持向量机（SVM）使用核函数**“低维计算，高维表现”*
2023-09-15 01:00:00
210
1
原创 聚类——基于机器学习_周志华
聚类是一种经典的**无监督学习**方法，**无监督学习的目标是通过对无标记训练样本的学习，发掘和揭示数据集本身潜在的结构与规律**，即不依赖于训练数据集的类标记信息。聚类则是试图将数据集的样本划分为若干个互不相交的类簇，从而每个簇对应一个潜在的类别。
2023-09-14 00:30:00
293
2
原创 集成学习——基于机器学习_周志华
顾名思义，集成学习（ensemble learning）指的是将多个学习器进行有效地结合，组建一个“学习器委员会”，其中每个学习器担任委员会成员并行使投票表决权，使得委员会最后的决定更能够四方造福普度众生~...~，即其泛化性能要能优于其中任何一个学习器。
2023-09-13 00:15:00
299
1
原创 EM算法——基于机器学习_周志华
EM（Expectation-Maximization）算法是一种常用的估计参数隐变量的利器，也称为“期望最大算法”，是数据挖掘的十大经典算法之一。EM算法主要应用于训练集样本不完整即存在隐变量时的情形（例如某个属性值未知），通过其独特的“两步走”策略能较好地估计出隐变量的值。
2023-09-12 00:15:00
190
原创 贝叶斯分类器——基于机器学习_周志华
贝叶斯分类器是一种概率框架下的统计学习分类器，对分类任务而言，假设在相关概率都已知的情况下，贝叶斯分类器考虑如何基于这些概率为样本判定最优的类标。在开始介绍贝叶斯决策论之前，我们首先来回顾下概率论委员会常委--贝叶斯公式。
2023-09-11 00:15:00
167
原创 支持向量机SVM介绍——基于机器学习_周志华
支持向量机是一种经典的二分类模型，基本模型定义为特征空间中最大间隔的线性分类器，其学习的优化目标便是间隔最大化，因此支持向量机本身可以转化为一个凸二次规划求解的问题。
2023-09-10 00:15:00
249
原创 神经网络介绍——基于机器学习_周志华
在机器学习中，神经网络一般指的是“神经网络学习”，是机器学习与神经网络两个学科的交叉部分。所谓神经网络，目前用得最广泛的一个定义是“神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应”。
2023-09-09 15:43:11
281
1
原创 五种(ECB,CBC,CFB,OFB,Counter)常见的分组密码的工作模式介绍
1. 电码本（ECB）模式2. 密码分组链接（CBC）模式3. 密码反馈（CFB）模式4. 输出反馈（OFB）模式5. 计数器（Counter）模式。
2023-09-07 01:00:00
2453
原创 神经渲染器：计算机视觉的未来
在计算机视觉和计算机图形学领域，神经渲染器是一项引人注目的技术。本文将深入探讨神经渲染器的工作原理、应用领域以及未来发展趋势。
2023-09-06 13:54:28
250
1
原创 深入理解操作系统-内核线程篇
内核线程（Kernel Thread）是操作系统内核中创建和管理的线程，它们是操作系统核心的一部分。与用户线程不同，内核线程的创建、管理和调度完全由操作系统内核负责。内核线程通常用于执行操作系统的核心任务，如进程调度、硬件中断处理、文件系统操作等。内核线程是操作系统的核心组成部分，它们负责执行操作系统的核心任务，如进程调度、硬件中断处理、文件系统操作等。了解内核线程的特性、创建、销毁、调度、同步、互斥、实现、应用等方面的知识对于操作系统开发和理解操作系统工作原理非常重要。
2023-09-06 01:00:00
910
1
原创 对抗攻击不同方法特点比较
攻击方法特点攻击目标适用模型主要优点PGD 攻击- 迭代型攻击方法误分类深度神经网络通用性高，适用于不同模型- 旨在找到最小程度的扰动- 梯度方向决定扰动方向- 扰动大小受限制- 通常需要较多计算资源CW 攻击- 优化型攻击方法最小化扰动大小深度神经网络灵活，可定制攻击目标- 旨在最小化扰动大小并欺骗模型通常需要较少迭代- 损失函数同时考虑分类错误和扰动大小- 可选择不
2023-09-05 13:06:40
283
1
原创 深入理解操作系统-用户线程篇
用户线程是由用户程序（而不是操作系统内核）创建和管理的线程。它们是进程内的执行单元，可以独立执行不同的任务，但它们共享进程的内存空间和资源。用户线程是多任务操作系统中的一部分，它们的管理和调度是由用户程序库（例如线程库）完成，而不是由操作系统内核负责。用户线程是操作系统的重要组成部分，它在多任务处理中起着关键的作用。了解用户线程的特征、状态、调度、同步、互斥、创建和终止、实现、应用等方面的知识对于计算机科学家和程序员来说都是非常重要的。
2023-09-05 01:00:00
470
1
原创 深度学习入门指南
深度学习是人工智能（AI）领域的一个分支，它以其在各种任务中取得卓越表现而备受关注。本指南旨在帮助初学者理解深度学习的基本概念和原理，并提供入门指导。深度学习是一种机器学习方法，其核心思想是构建多层神经网络来模拟人脑处理信息的方式。这些神经网络被称为深度神经网络，因为它们由多个层次（深度）的神经元组成。神经网络是受生物神经元启发的数学模型，用于解决各种机器学习任务。它们由神经元（或节点）组成，这些神经元通过连接（或权重）相互连接在一起。神经网络可以用于分类、回归和聚类等任务。
2023-09-04 12:47:10
92
1
原创 深入理解操作系统-线程篇
线程是计算机程序的执行单元，它是进程中的一个更小的单位。每个进程可以包含多个线程，这些线程可以独立执行不同的任务，但它们共享进程的内存空间和资源。线程是操作系统多任务处理的基本单位。线程是操作系统的重要组成部分，它在多任务处理中起着关键的作用。了解线程的特征、状态、调度、同步和互斥是理解操作系统工作原理的关键。深入研究线程可以帮助计算机科学家和程序员更好地管理多线程应用程序的性能和可靠性。希望本文能够帮助读者更深入地理解操作系统线程的基本概念和重要性。
2023-09-04 01:00:00
207
1
原创 深入理解操作系统-进程篇
进程是计算机系统中的一个关键概念，它代表着正在运行的程序实例。每个进程都有自己的内存空间、代码、数据和状态信息。操作系统通过进程来管理计算机资源，使多个程序能够同时运行而不互相干扰。进程是多任务操作系统的基本单位。进程是操作系统的核心概念之一，它使计算机能够同时运行多个程序，并有效地管理资源。了解进程的特征、状态、调度和通信是理解操作系统工作原理的关键。深入研究进程可以帮助计算机科学家和程序员更好地理解和优化计算机系统的性能。
2023-09-03 20:18:20
132
原创 生成对抗网络（GAN）：艺术与技术的交汇
生成对抗网络（GAN）是近年来计算机视觉领域中备受关注的突破性技术。它的独特之处在于能够通过训练两个对抗性的网络模型，即生成器和判别器，来生成高度逼真的图像和数据样本。本文将深入探讨 GAN 的工作原理、应用领域以及未来发展趋势。
2023-08-24 20:10:22
168
1
原创 简单了解卷积神经网络CNN
卷积神经网络是计算机视觉领域取得突破的关键技术之一。通过卷积操作、池化操作和全连接层的组合，CNN能够从原始像素数据中学习到丰富的特征，从而在各种视觉任务中表现出色。无论是图像分类还是目标检测，CNN都在不同程度上发挥着重要作用。
2023-08-24 15:19:50
33
1
原创 [代码复现]Adversarial Texture for Fooling Person Detectors in the Physical World 笔记及心得体会
。
2023-08-23 21:33:09
155
1
原创 讲解机器学习中的 K-均值聚类算法及其优缺点。
K-均值聚类算法是一种无监督学习算法，用于将数据点分为几个不同的组（或簇），使每个组内的数据点都相似，而不同组内的数据点则相异。综上所述，K-均值算法是一种简单易用，且适用于大规模数据集的聚类算法，但在实际应用中需要根据数据特性和业务需求进行调整和改进。3. 计算每个数据点到每个质心的距离，并将其分配到最近的质心所在的簇中。1. 对于初始质心的选择敏感，初始聚类可能会导致算法陷入局部最优解。2. 对于不同形状或密度的簇，聚类效果可能不佳。3. 可扩展性强，可以适应新的数据点。4. 重新计算每个簇的质心。
2023-08-22 21:11:22
92
1
原创 介绍 TensorFlow 的基本概念和使用场景。
它可以用于深度学习模型的构建、训练和评估，而且支持分布式计算，可以在多个GPU或多台机器上训练模型。2. 计算图（Graph）：计算图是TensorFlow的核心概念之一，它定义了模型中各个操作（节点）之间的依赖关系，形成了一个有向无环图。可以通过计算图来表示复杂的数学计算过程。TensorFlow是一个基于数据流编程的开源软件库，最初由Google Brain团队于2015年开发，用于构建和训练各种机器学习模型。1. 张量（Tensor）：在TensorFlow中，所有的数据都是以张量的形式存储和传播。
2023-08-22 21:10:27
31
Adversarial Texture for Fooling Person Detectors in the Physical
2023-08-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人