Dongz__-CSDN博客

原创 Reinforcement Learning: An Introduction — Chapter 13th

The 13th Chapter of 《Reinforcement Learning: An Introduction》

2022-12-28 17:24:33 199 1

原创远程服务器运行CoppeliaSim

Run CoppeliaSim on remote server or clusterFor those asynchronous DRL algorithm, ‘PS-Workers’ is one of common framework with TensorFlow implementation, in which each worker often need run on one of GPU of remote server or cluster. Of cause, we can set th

2021-10-14 21:23:28 656 8

原创基于动作价值的强化学习

文章目录前置基础Deep Q-Network (DQN)前置基础Discoundted Return UtU_tUt（折扣返回值）Ut=Rt+γRt+1+γ2Rt+2+⋯(1) U_t = R_t + \gamma R_{t+1} + \gamma^2 R_{t+2} + \cdots \tag{1}Ut=Rt+γRt+1+γ2Rt+2+⋯(1)根据定义可知，UtU_tUt 依赖于动作序列 {AtA_tAt, At+1A_{t+1}At+1, At+2A_{t+2}At+2

2021-09-22 17:38:29 366

原创《深入了解TensorFlow》笔记——Chapter 6.4 可视化高维数据

文章目录TensorBoard可视化高维数据嵌入变量嵌入变量元数据投影配置参数可视化MNIST数据集示例本节讨论的可视化高维数据特指embedding features。embedding是指将客观世界中离散的物体或对象（如单词、短语、图片等）映射到特征空间中的操作。embedding feature是指映射后的特征空间中连续且稠密的高维向量。由于deep learning or machine learning的大多数模型都是为稠密的连续向量而设计的，所以embedding representatio

2021-07-05 18:25:41 516

原创《深入了解TensorFlow》笔记——Chapter 6.3 可视化学习过程

为了清晰地理解深度神经网络模型的训练过程，同时方便地调试和优化训练程序，用户有必要掌握TB可视化学习的方法和对应的汇总操作。TB支持的可视化对象主要包括模型参数、训练指标随时间的变化情况、特定值的数据分布和统计信息等。汇总操作概述summary ops也是TF operation，它的输入输出都是张量。用户需要将这些summary data写入到event file中，TB才能顺利加载并visualize它们。为了在session运行过程中收集summary data，需要添加summary ops到

2021-07-04 22:27:36 247

原创《深入了解TensorFlow》笔记——Chapter 6.2 可视化数据流图

文章目录名字作用域和抽象节点可视化数据流图示例汇总数据和事件数据汇总数据事件数据tf.summary.FileWriter工作原理名字作用域和抽象节点抽象节点，它不是一个具体的操作，而是代表一组特定操作的集合。将同一层网络或具有相同功能的操作整合为一个抽象节点，以简化数据流图的网络结构。虽然ANN模型非常简单，但是如果不做任何处理直接可视化，它的graph仍然稍显复杂。如果进一步可视化深度神经网络，可能就会陷入节点间的复杂网络惋惜，难以迅速定位graph结构问题。因此，针对可视化深度神经网络的场景

2021-07-03 23:26:21 411 1

原创《深入了解TensorFlow》笔记——Chapter 6.1 TensorBoard可视化工具概述

在算法设计过程中，开发者往往需要剖析神经网络的结构和graph流程。在训练过程中，用户也需要关注参数的变化趋势和模型的实时效果。TensorBoard是TF项目组开发的深度学习visualization tool，通过直观图形展示，有效地解决了上述问题。简介TB的实现形态是Web应用程序，这位分布式、跨系统的图形界面服务带来了便利。TB web界面的顶部菜单栏包含了7个功能面板的连接，这些面板分别展示不同的可视化对象。SCALARS，展示标量值随时间变化的关系图IMAGES，展示图像数据AUD

2021-07-02 23:31:50 216 2

原创基于分布式同步训练ANN实现MNIST手写字符识别

文章目录命令行参数设置模型搭建main函数分布式程序运行本文采用PS-worker架构，PS任务运行在CPU上，负责相应各worker请求，收集聚合分布梯度，管理/更新模型参数等。各worker task负责具体梯度计算，每个GPU部署一个worker。具体代码都在tf_sync_distribution.py文件中。命令行参数设置from __future__ import absolute_importfrom __future__ import divisionfrom __future__

2021-07-02 22:43:40 384

原创《深入了解TensorFlow》笔记——Chapter 5.2 分布式程序框架

TF的fine-grained API为分布式程序的设计和开发提供了非常的灵活性，用户可以将不同的分布式架构与TF结合。PS-Worker是一种经典的分布式架构，它在大规模分布式机器学习、深度学习领域得到了广泛的应用。TF提供对PS-worker架构支持，并将其推荐为标准分布式编程框架。本节主要介绍TF分布式程序的编程框架，以graph形式展现分布式程序的主要流程。目前大多数分布式程序均采用数据并行的模式加速模型训练，TF也为此专门设计了synchronized_optimizer，以便用户快速构建分布式

2021-07-01 12:31:51 443

原创基于人工神经网络的MNIST手写字符识别（TensorFlow版）

文章目录一层ANN简单实现两层ANN网络实现三层ANN网络实现本代码基于TF v1.4实现的，在V1的版本上应该能够顺利跑通。该示例无需手动下载MNIST数据集，TF API会自动下载并解压到指定文件夹（args.data_dir参数）。一层ANN简单实现#!/usr/bin/env python# coding=utf-8# author: dongzhouimport tensorflow as tfimport osimport numpy as npimport argparse

2021-06-30 16:10:37 381

原创《深入了解TensorFlow》笔记——Chapter 5.1单机程序编程框架

文章目录概述创建单机数据流图创建并运行单机会话基于人工神经网络的MNIST字符识别示例本节通过MNIST softmax模型的训练和推理，介绍TF单机程序编程有关概念。概述单机程序是指启动和运行都仅在一台机器的一个进程中完成的程序。这种程序的模型参数只在本地CPU-GPU之间进行传输，没有网络通信的开销，适合参数不多、计算量小的模型。TF单机程序编程流程图：单机程序编程流图主要有两部分组成Graph和DirectSession。创建单机graph。数据流图主要由三类节点组成，分别表示输入数据的

2021-06-30 16:01:28 333

原创《深入了解TensorFlow》笔记——Chapter 4.3 命令行参数

文章目录argparse创建解析器添加待解析参数解析参数tf.app.flags命令行参数值启动TF程序时的输入参数。按照功能不同，可以将其分为模型参数和集群参数两种。前者指机器学习和深度学习模型中的框架参数，比如梯度下降的学习率和批数据大小等，主要用于优化模型的训练精度和速度。后者指运行TF分布式任务的集群配置参数，如参数服务器主机地址和工作服务器主机地址等，主要用于设置TF集群。解析命令行参数的两种主流解决方案：argparse 和 tf.app.flags。前者是python标准库中的命令行参数解

2021-06-29 11:44:00 233

原创《深入了解TensorFlow》笔记——Chapter 4.2 模型参数

文章目录模型参数使用流程创建模型参数初始化模型参数更新模型参数保存和恢复模型参数保存模型参数恢复模型参数变量作用域tf.Variable的局限变量作用域的优势变量作用域的使用模型参数是指模型的权重值和偏置值。TensorFlow模型参数的使用方法，包括模型参数的创建、初始化和更新，以及从模型参数的存储和恢复方法。模型参数使用流程TF中模型参数的使用流程如下图所示：图中，tf.Variable()类实现了数据流图上的存储节点，它能够在操作执行完成后仍然保存变量值，因此我们使用它来存储模型参数。为了训练

2021-06-28 15:35:55 892

原创《深入了解TensorFlow》笔记——Chapter 4.1 输入数据集

文章目录数据并行读取创建文件名列表创建文件名队列创建Reader & DecoderCSV fileTFRecords fileAny format file创建样例队列TFRecords样例数据结构创建批样例数据填充数据节点CIFAR-10数据集示例MNIST数据集示例用户处理数据集的典型流程是：输入数据集从文件系统读取到内存中；将其转换为模型所需要的格式；以某种形式传入到数据流图中，开始模型训练。一般采用的数据读取方式有两种：Large-scale Dataset：一般由由大量

2021-06-25 17:34:19 471

原创《深入了解TensorFlow》笔记——Chapter 3.6 一元线性回归模型实例

文章目录定义超参数输入数据构建模型定义损失函数创建优化器定义单步训练操作创建会话迭代训练线性回归(Linera Regression)是一种回归分析方法，它利用基于最小二乘法函数的回归方程，对一个或多个自变量和因变量之间的关系进行建模。一般情况下，具有N个自变量的N元线性回归模型的形式化定义如下：Y=WTX+b=w1x1+w2x2+⋯+wnxn+b(1)Y=W^TX+b=w_1x_1+w_2x_2+\cdots+w_nx_n+b \tag1Y=WTX+b=w1x1+w2x2+⋯+wnxn

2021-06-23 20:15:05 203

原创《深入了解TensorFlow》笔记——Chapter 3.5 训练工具：优化器

文章目录损失函数与优化算法损失函数优化算法优化器概述minimize方法模型训练方法进阶机器学习大致分为三种类型：监督学习、无监督学习和半监督学习。典型的监督学习问题由三部分组成：模型、损失函数和优化算法。目前，主流的监督学习方法主要采用基于梯度下降的优化算法进行模型训练。本节首先介绍损失函数和优化算法，然后讲解TF Optimizer的定义和使用方法，最优分析TF Optimizer的实现原理。损失函数与优化算法损失函数损失函数是评估特定模型参数和特定输入是，表达模型输出的推理值与真实值之间不

2021-06-22 23:00:55 580

原创《深入了解TensorFlow》笔记——Chapter 3.4 运行环境：会话

文章目录普通会话创建会话运行会话关闭会话交互式会话：InteractiveSession会话实现原理TF数据流图描述了计算的拓扑结构和所需的数据属性，但数据流图本身只是一个“壳”。只有图feed数据、选择带求解的张量，并执行了相应计算之后，才能够获取到最终的结果。TF.Session()为用户提供了上述计算过程的运行环境，它本质上是在维护一段运行时上下文。Session通过提取和切分数据流图、调度并执行操作节点，将抽象的计算拓扑转化为设备上的执行流，最终完成计算任务。普通会话TF会话提供了求解张量和执

2021-06-22 17:29:33 166

原创《深入了解TensorFlow》笔记——Chapter 3.3 模型载体：操作

文章目录计算节点：Operation存储节点：Variable数据节点：PlaceholderTensorFlow的算法模型由数据流图表示，数据流图由节点和有向边组成，每个节点均对应一个具体操作。因此，操作是模型功能的基础单元。计算节点：对应的无状态的计算或控制操作，主要负责算法逻辑表达或流程控制存储节点：对应的有状态的变量操作，通常用于存储模型参数数据节点：对应的是特殊占位符操作，用于描述待输入数据的属性计算节点：Operation计算节点对应的计算操作抽象是Operation类。计算节点

2021-06-22 11:05:57 343

原创《深入了解TensorFlow》笔记——Chapter 3.2 数据载体：张量

文章目录张量：Tensor创建张量求解成员方法操作示例稀疏张量：SparseTensor创建操作示例为了更方便地定义数学表达式、更准确地描述数学模型，TF使用张量（Tensor）统一表示所有数据。在实际计算式，即表达式的转化过程中，模型所对应的表达式中的数据由张量来承载。TF提供Tensor和SparseTensor两种张量抽象，分别表示稠密数据和稀疏数据，后者旨在减少高维稀疏数据的内存占用。张量：TensorTF Tensor具有极强的数据表达能力，这既体现在它对High dimensional d

2021-06-21 11:41:24 303

原创《深入了解TensorFlow》笔记——Chapter 3.1 编程范式：数据流图

编程范式：数据流图TF采用了更适合描述深度神经网络的声明式编程范式，并以数据流图作为核心抽象。基于声明式编程的数据流图具有以下优势：代码可读性强支持引用透明提供预编译优化能力声明式编程和命令式编程编程范式定义：编程语言或函数库为开发人员提供的程序实际基本风格和典型模式。声明式编程与命令式编程是两种常见的编程方式，他们最大的区别在于：前者强调“做什么”，后者强调“怎么做”。声明式编程：结构化、抽象化，用户不必纠结每个步骤的具体实现，而是通过下定义的方式描述期望达到的状态。命令式编程

2021-06-21 11:37:15 451

原创《深入了解TensorFlow》笔记——Chapter 1th TensorFlow概述

TensorFlow 概述TensorFlow 优势运算性能高。TensorFlow1.0加入线性代数编译器XLA，它可以帮助TensorFlow在CPU, GPU, TPU, 以及嵌入式设备等平台上更快速地运行机器学习模型。TensorFlow提供了大量针对不同软硬件环境的优化配置参数。通用化框架。TensorFlow最初用于机器学习和深度神经网络方面的研究。但是其灵活的设计也可用于其他领域。同时TensorFlow提供high level wrapper：Slim, Keras, TF Laye

2021-06-19 10:19:15 417

原创背景减除算法库-Background Subtraction library

文章目录IntroductionAlgorithm 1: PAWCS ***Algorithm 2: SuBSENSE ****Algorithm 3: LOBSTER *Algorithm 4: WeightedMovingVariance ***Algorithm 5: CodeBook ****Algorithm 6: SigmaDelta ****Algorithm 7: WeightedMovingMean ****Algorithm 8: AdaptiveBackgroundLearning

2021-06-16 22:29:54 980 2

原创基于CoppeliaSim构建空间非合作目标六自由度跟踪数据集

简介我们想通过仿真平台CoppeliaSim创建一个通用空间非合作目标六自由度跟踪数据集，它由原始数据、标注数据以及实用工具集组成。该数据集将不仅限于六自由度跟踪领域，也可以用于目标检测、二维单目跟踪、二维双目跟踪、三维跟踪、以及目标姿态估计等领域。原始数据主要包括双目图像（1024x512）和深度图像（1024x512）；标注数据1）2D AnnotaionsObject category, Left bbox2d（u, v, w, h）, Right bbox2d（u, v, w,

2021-06-05 23:38:03 711

原创 Sutton-强化学习入门-Chapter2

Tabular Solution MethodsMulti-arm BanditsK-armed Bandit ProblemAction-value MethodsThe 10-armed TestbedIncremental ImplementationTracking Nonstationary ProblemOptimistic Initial ValuesUpper-confidence-Bound Action SelectionGradient Bandit AlgorithmAssociat

2021-01-18 10:11:20 806

原创卡尔曼滤波

观测之间不会相互独立，但是如果建立了隐状态模型，那么观测之间相互独立。隐马尔可夫模型（Hidden Markov Model）与卡尔曼滤波的关系？Dynamic Modelp(xt∣xt−1)p(x_t \vert x_{t-1})p(xt∣xt−1)p(yt∣xt)p(y_t \vert x_t)p(yt∣xt)p(x1)p(x_1)p(x1)Discrete State Dynamic Model (HMM)Axt−1,xtA_{x_{t-1}, x_{t}}A

2020-12-22 09:32:12 201

原创 Sutton-强化学习入门-Chapter1

Sutton-强化学习入门-Chapter1IntroductionReinforcement LearningExamplesElements of Reinforcement LearningLimitations and ScopeAn Extended Example: Tic-Tac-ToeSummaryEarly History of Reinforcement LearningIntroductionReinforcement LearningExamplesElements of R

2020-11-05 19:18:46 210

dongz