- 博客(17)
- 收藏
- 关注
RSS订阅原创 概率模型编程工具 Pyro（三）条件分布
概率模型编程工具 Pyro（三）条件分布本节所使用的代码已经上传GIthub：https://github.com/l743396657/Pyro_test/tree/master/1 A Simple Example例子说明：假设我们试图计算某物的重量，但我们使用的秤不可靠，每次我们称同一物体时给出的答案略有不同。我们可以尝试通过将噪声测量信息与基于物体的一些先验知识(如密度或物质属性)的猜测相结合，来弥补这种变化。 weight ∣ guess ∼&nb
2021-08-22 09:34:16
729
1
原创 概率模型编程工具 Pyro（二）基本函数
概率模型编程工具 Pyro（二）基本函数在Pyro中，最基本的功能是我们可以去定义各种各样的分布，同时可以用多个基本分布去构成一些相对复杂的分布。在本节中，我们将介绍Pyro中基本分布的声明。pyro.sample()在Pyro中，使用pyro.sample()来声明或者说定义分布，比如我们需要声明一个均值为a方差为b的正太分布，就可以使用如下代码：x = pyro.sample("my_sample", pyro.distributions.Normal(a, b))print(x)上面代码
2021-08-21 18:30:21
1222
1
原创 概率模型编程工具 Pyro（一）基本介绍
概率模型编程工具 Pyro（一）基本介绍Pyro是由Uber基于Pytorch构建的一个实现概率模型的框架，被常用与概率模型与深度神经网络模型的混合编程。其优势在于Pyro基于Numpy实现，加上对Pytorch的支持很友好，可以自动计算概率模型梯度等特性。本文意在介绍Pyro的基本使用方法，默认读者具有一定的概率模型基础。官方网址https://pyro.ai参考文档https://pyro.ai/examples/index.html软件安装由于Pyro是基于PyTorch的，所以在安装
2021-08-19 16:15:30
2450
原创 【迁移学习】Agile Domain Adaptation——一种平衡运算资源和速度的深度迁移学习方法
Agile Domain Adaptation背景在现在的迁移学习工作中，一直有一个矛盾：准确率和运算成本之间的矛盾。在神经网络面对一个个的样本进行分类时，有的样本可能和训练数据非常相似，用很少的层数就可以分类出来，但有的可能和神经网络所见到的训练样本差别比较大，需要提取深层特征才能良好的分类。对于简单目标，进行深度特征提取就比较浪费运算资源了。所以有了这个工作。领域自适应是迁移学习领域中一...
2019-09-09 20:17:49
436
原创 【多任务学习】多任务学习中的自动任务选择和自动混合（AUTOSEM: Automatic Task Selection and Mixing in Multi-Task Learning）（二）
多任务学习（MTL）已经在许多问题领域上取得了成功，其目的是使用一些与主任务相关的辅助任务来提高主任务的性能。但是，当辅助任务的有用性比较低时，主要任务得不到有效的先验信息。MTL模型的成功取决于这些辅助任务的正确选择，以及在替代训练期间这些任务的平衡混合比。这两个问题可以通过对所有任务组合进行手动选择或超参数调整来解决，但是当候选辅助任务的数量非常大时，这会导致诱导偏差或不可实现。为了解决这些问...
2019-09-06 19:26:57
968
原创 【多任务学习】多任务学习中的自动任务选择和自动混合（AUTOSEM: Automatic Task Selection and Mixing in Multi-Task Learning）（一）
AUTOSEM:多任务学习中的自动任务选择和自动混合（一）背景知识知识结构：AUTOSEM: Automatic Task Selection and Mixing in Multi-Task Learning[1]1） Supervised Learning of Universal Sentence Representations from Natural Language Infe...
2019-09-01 11:14:18
809
原创 【多任务学习】多任务学习中的任务选择机制（Task Selection Policies for Multitask Learning）
Task Selection Policies for Multitask Learning多任务学习和迁移学习虽然经常被分别表述，但其实二者的思想和任务都是一直的：利用其他数据的知识来提升任务目标的性能。在大多数多任务学习中，可以随着主任务学习进度的变化，选择、控制不同辅助任务的使用频率，通过这样的方法可以随着主任务的变化，给与最适合的辅助样本来提高性能。Curriculum Learning...
2019-08-31 23:38:47
913
原创 【迁移学习】STL（Stratified Transfer Learning）小结
STL（Stratified Transfer Learning）分层迁移学习：问题描述提出了一个CDAR的问题：源域和目标域数据具有相同的维度、相同的标记，但是P（Xs）不等于 P（Xt）同时P（Ys|Xs）不等于P（Yt|Xt）。交叉领域学习的目标是利用源域的标记和数据来获取标记Yt。整体farmworke 分为三个部分：Majority VotingIntra-class Tran...
2019-04-19 17:37:09
1729
原创 【迁移学习】JDA（Joint Distribution adaptation ）小结
JDA（Joint Distribution adaptation ）一种联合分布自适应的方法。问题描述：迁移学习是一门利用源域知识来提升目标域知识的学科（这里说的比较笼统），JDA是一种即考虑两个域之间的边缘分布（ marginal distributation）又考虑条件分布（conditional distribution）的经典迁移学习方法。领域(Domain):一个领域（Domai...
2019-04-17 18:10:17
8759
2
原创 【迁移学习】TCA小结
TCA（Transfer Componet Analysis）是一种边缘分布自适应方法，属于迁移学习中数据分布自适应的一种经典方法。由香港科技大学Q Yang教授及其团队于2011年提出。下面对相关问题和方法进行总结。#问题描述在我们构建机器学习模型时，训练数据Xs的分布P（Xs）于 测试数据（或者是实际应用数据）Xt的分布P（Xt）并不一致。这会导致我们训练出的模型的鲁棒性变差，并且在测试中...
2019-03-17 14:21:20
15286
19
原创 Federated Learning 的一些基本知识和分类
definition of federated learning定义有N个用户每个人所含有的私有数据为传统的深度学习算法将每个用户的数据收集在一起得到总的数据集再进行训练一个模型Federated Learning的训练方法是每一个用户利用自己的数据进行模型训练不同用户之间不进行数据共享。这时定义总数据集模型的正确率与分用户模型的正确率之差为δ-accuracy loss一...
2019-03-14 15:33:17
5997
原创 数字信号处理总结
数字信号处理相关现象、定理、推倒、方法几种现象：吉布斯现象：将具有不连续点的周期函数（如矩形脉冲)进行傅立叶级数展开后，选取有限项进行合成。当选取的项数越多，在所合成的波形中出现的峰起越靠近原信号的不连续点。当选取的项数很大时，该峰起值趋于一个常数，大约等于总跳变值的9%。DFT对模拟信号做分析时的几个问题2. 混叠失真3. 原因：抽样频率不满足抽样定理，则频域周期延拓会在0....
2019-01-05 11:03:36
5654
原创 深度学习CNN提升性能的方法总结
#CNN提升性能的方法总结最近阅读了几篇经典的CNN论文，发现作者在训练一些模型的过程中使用了一些共通的方法来增加网络的性能，并且在ImageNet等相关数据集上得到了明显的性能提升，下面按照CNN模型成长的轨迹来总结一些可以用在平常我们自己训练深度网络模型中的技术。这里只是做一个各种方法的总结和简述，并不会很详细的说明怎么去实现和一些数学推导，如果有需要的可以看我后面的博客或者是其他CSDN大...
2018-12-03 23:55:02
5029
2
原创 FPGA Verilog 并行全比较算法（大点数)
FPGA Verilog 并行全比较算法（大点数)排序算法的意义：排序是一种重要的数据运算,传统的排序方法主要靠软件串行方式实现,包括冒泡法、选择法、计数法等,这些算法大多采用循环比较,运算费时,实时性差。不能满足工程上越来越高的实时性要求。FPGA由于其优秀的并行运算能力，充分利用这种能力可在短短数个周期内完成大点数（如256点）的排序任务。算法介绍：并行全比较算法时一种...
2018-08-28 10:38:40
10588
4
原创 Xilinx vivado FFT IP v9.0 event_ 状态信号解析
Xilinx FFT IP v9.0 event_ 状态信号解析赛灵思支持AXI4协议的FFT IP核中包含了六个独立的状态信号线，基本覆盖了实用IP核时可能会遇到的问题。使用者不需要完全实用这些信号，但在调试过程中可以时时刻刻为开发者表明可能遇到的问题。在开发过程中实用一两个信号，可以增加系统的稳定性。 下面简述如下信号的意义： event_frame_started：每一新的次fft开...
2018-08-16 15:47:31
2732
原创 Xilinx vivado FFT IP v9.0 详解
Xilinx FFT IP v9.0 在线设置变换长度详解IP介绍FFT IP核支持三种数据类型： 1. 定点全精度 1. 定点缩减位宽 1. 块浮点有四种可选择的FFT运算方式： 1. PipelinedStreaming I/O 1. Radix-4Burst I/O 1. Radix-2Burst I/O 1. Radix-2 Lite Burst I/O四...
2018-08-16 15:36:29
21543
27
原创 tensorflow CPU+GPU安装过程（windows10+ubuntu）
tensorflow安装过程（windows10+ubuntu）（未完）安装过程总览CPU版本：通过pip命令可以直接安装 在安装相应版本的python之后输入命令pip3 install --upgrade tensorflow在安装完成测试的时候可能会有一个警告，大体意思是本机的CPU还不错，可以通过另一种指令编译，提高运算速度（网上有的说会得到三倍的运算效率）。...
2018-08-10 15:25:38
429
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人