- 博客(36)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【Flink系列】部署篇（三）：Native k8s部署高可用Flink集群实战
上一篇博文介绍了如何独立部署一个高可用的Flink集群,本篇介绍如何用Native k8s去部署高可用的Flink 集群。本篇介绍的集群构建在AWS上，和构建在自己的服务器相比，主要区别在文件系统的选择和使用上。我选用的S3服务。
2023-01-12 12:45:17
2688
3
原创 【Flink系列】部署篇（一）：Flink集群部署
Flink集群是由哪些组件组成的？它们彼此之间如何协调工作的？在Flink中job, task, slots,parallelism是什么意思？集群中的资源是如何调度和分配的？如何搭建一个Flink集群？如何配置高可用服务？如何使用外部文件系统？
2023-01-12 12:41:57
4274
原创 基于极值理论的单变量时间序列流式异常检测算法SPOT/DSPOT
论文标题：“Anomaly Detection in Streams with Extreme Value Theory”GitHub - Amossys-team/SPOT: SPOT algorithm implementation (with variants)https://github.com/Amossys-team/SPOT算法简介 SPOT是基于极值理论的流式数据异常检测算法。可用于单变量的流式数据异常检测，但是更常用于自动设置阈值（如OmniAnomaly就用该算...
2022-01-18 21:32:36
5531
5
原创 【配准】2020年“基于深度学习的医学影像配准”期刊论文速览（PR,TMI,MIA）
针对基于深度学习的医学影像配准，检索了最新的（2020年）期刊论文，包含PR、TMI、MIA3个期刊，下面是浏览论文中的一些记录。其中有两篇论文提供了代码。一、PRDeep morphological simplification network (MS-Net) for guided registration of brain magnetic resonance images（沈定刚） 解决的问题：Deformable brain MR image registration...
2021-01-11 21:59:42
3702
1
原创 【配准】gdbicp配准工具包的安装与使用
这个工具包实现了Generalized Dual Bootstrap-ICP 配准算法，可用来做二维图像的全自动配准。软件的简介可见Generalized Dual Bootstrap-ICP Software Guide Introduction安装与使用这个软件的安装对用户很不友好，点击下载按钮出现的竟然是一个网页，网页里的代码还是用perl写的。在这之前我连perl是什么都不知道……折腾良久，最终在win10上装上了。在这个网址上下载gdbicp.zip这个压缩包，然后解压即.
2020-06-17 15:23:35
622
8
原创 【配准】python代码：标注关键点（keypoint）并生成位置坐标的文本文件
配准常见的评判标准就是关键点坐标之间的误差（TRE），关键点的标注就成了绕不开的过程。有很多图像处理软件都可以实现在图像上画点并且显示鼠标处的坐标，如windows自带的绘图软件，ImageJ等，但是我当下的任务需求是标记图像对上对应的关键点，并生成相应的txt文本。稍微调查了一下各种标记软件，未果，最终决定自己写代码实现。关键函数1、matplotlib.pyplot.ginput（）这个函数可以用来捕获鼠标点击处的坐标，函数返回一个列表，保存着每次点击的坐标。具体的函数说明看下...
2020-05-24 22:19:12
4120
3
原创 【记录贴】sshfs将ubuntu系统的文件夹挂载在win7上
折腾了一天，版本一直不对，终于弄出来了。——————————————————————功能简介ssh大家应该都很熟悉，一个常用的远程连接指令，而sshfs是在ssh的基础上添加了文件挂载的功能（可能也有其它功能，暂时不管它），所谓文件挂载，就是在本机上添加一个虚拟机，里面放着远程连接的电脑上我们指定的文件夹的内容。安装步骤及注意事项本机系统：win7 控制系统：ubuntu1...
2020-02-22 19:53:21
888
原创 【配准】弱监督(Weakly-Supervised)系列配准论文阅读
弱监督系列论文汇总表 序号 发表情况 要点 1 ISBI2018 弱监督配准框架 2 MIA2018 多尺度Dice，新的网络，大量的实验 3 TMI2018 ...
2019-11-01 21:51:16
3996
2
原创 【集群】集群计算节点无法连网下载预训练权重的解决方案（Ubuntu,keras)
问题描述： 在keras的训练过程中经常需要连网下载预训练权重，而集群的计算节点是没有网络的，所以就想到先在本机上运行代码下载好相关的权重，再将权重上传到集群中默认的搜索路径，当代码再次在集群中运行时，搜索到已下载好的权重就不会再次连网下载。 注意！！keras下载好的预训练权重默认保存在'~/.keras/models'目录下 操作步骤：打开home所在的目...
2019-10-02 18:11:35
444
原创 【配准】空间变换网络Spatial Transformer Networks原理分析
说明：此文只分析STN层的原理。STN由三个部分组成：1、定位网络生成空间变换参数，如二维仿射变换参数：a11,a12,a21,a22,t1,t2。可以是任意的回归网络，如卷积网络，全连接网络等2、栅格生成器 由变换参数获取在输入特征图上面的采样位置。下面详细解释。设U的shape为（H,W,C）,对应于高、宽、通道数，我们想要变换之后的特征图为V，V的...
2019-08-28 17:12:30
2210
原创 【配准】2019医学图像配准中的深度学习综述论文解读（2）
承接上文。本文是双监督、弱监督、自监督部分的总结和个人感想，见解较为粗浅， 还请同行多多指教。论文原文：Deep Learning in Medical Image Registration: A Survey————————————————————————————————————————————————————————四、弱监督或双监督的形变场估计双监督：既选用扭曲后图像与参...
2019-07-30 13:22:50
3704
3
原创 【配准】2019医学图像配准中的深度学习综述论文解读（1）
这篇博文我转载到了知乎专栏上并进行了参考文献的扩充，可供参阅。 https://zhuanlan.zhihu.com/p/92032320论文：Deep Learning in Medical Image Registration: A Survey阅读中主要关注点：配准的各个流派大致的思路，比较有意思的想法，刚性配准的网络架构与目标函数一、研究情况梗概目前采用...
2019-07-01 11:19:53
7661
5
原创 【Pytorch实战6】一个完整的分类案例：迁移学习分类蚂蚁和蜜蜂（Res18,VGG16)
参考资料：《深度学习之pytorch实战计算机视觉》Pytorch官方教程Pytorch官方文档本文是采用pytorch进行迁移学习的实战演练，实战目的是为了进一步学习和熟悉pytorch编程。本文涉及以下内容迁移学习的概念 数据集的介绍，读取，处理和预览 模型搭建和参数优化 涉及VGG16,Res50等模型 采用GPU进行网络训练 采用tensorbor...
2019-05-16 06:49:34
7380
2
翻译 【Pytorch实战5】数据读取和处理（以脸部关键点检测的数据为例）
参考资料：数据读取和处理官网教程对于初学者来说，编程遇到的头一个问题可能就是不知道怎么编写数据读取的代码以输入网络。本文主要讲解的就是编写该部分代码的常见方法和编程思路。内容基本是官方文档的翻译与总结。数据下载链接下载之后保存在data/faces路径下。里面一共有69张脸部图片，有一个csv文档作为金标准用于保存所有的关键点，每一张脸部图像有68个关键点。打开c...
2019-05-16 00:30:01
4347
4
转载 【Pytorch实战4】基于CIFAR10数据集训练一个分类器
参考资料：《深度学习之pytorch实战计算机视觉》Pytorch官方教程Pytorch中文文档 先是数据的导入与预览。import torchimport torchvisionfrom torchvision import datasets, transformsfrom torch.autograd import Variableimport mat...
2019-05-16 00:29:06
1508
3
转载 【pytorch实战3】模型搭建和参数优化
参考资料：《深度学习之pytorch实战计算机视觉》Pytorch官方教程Pytorch中文文档一个典型的神经网络训练过程如下：定义神经网络 在训练数据集上面迭代，输入数据到神经网络 前向传播计算loss 反向传播计算梯度 参数更新。下面来看如何基于pytorch深度学习框架用简单快捷的方式搭建出复杂的神经网络模型，同时让模型参数的优化方式趋于高效。一、模...
2019-05-16 00:27:48
720
转载 【pytorch实战2】自动求导机制
参考资料：《深度学习之pytorch实战计算机视觉》Pytorch官方教程Pytorch中文文档先看一个只有一层的简单的神经网络训练代码。#--coding:utf-8--'''一个简单的神经网络模型'''import torchbatch_n = 100#batchsize值hidden_layer = 100#100个神经元input_data = 1...
2019-05-16 00:27:32
498
原创 用Burg法估计AR模型并绘制功率谱曲线的python实现
这是这学期《随机信号处理》课程的作业，程序调试了蛮久的，在此记录一下。原理这个博文写得很清楚，这里我就跳过了。需要说明的是我的代码中反射系数与这篇博文中的反射系数相差一个负号，因为我们老师是这么讲的，虽然我看的经典教材上都同这篇博文中的表述。Burg法求解AR(p)模型参数及MATLAB实现需要补充的是根据AR模型进行功率谱密度估计的公式代码（python3）直接运...
2019-01-23 23:05:18
5870
2
原创 【论文阅读笔记6】序列模型入门之LSTM和GRU
本文只是吴恩达视频课程关于序列模型一节的笔记。参考资料：吴恩达深度学习工程师微专业之序列模型博文——理解LSTM吴恩达本来就是根据这篇博文的内容来讲的，所以 个人认为 认真学习过吴恩达讲的那个课程后可以不用再看那篇博文了，能获得的新的知识不多，另外网上的博文基本也都是根据那篇博文写的。一、序列模型 我们知道，卷积神经网络（CNN）主要是处理图像的。那么循环神经网...
2018-11-06 21:16:31
522
转载 完美解决Sublime无法输入中文问题
https://blog.csdn.net/CV_YOU/article/details/77702383#commentsedit第一条指定非必要，方便快捷，亲测可用。必须用subl指令打开sublime。
2018-10-25 22:20:19
231
原创 【论文阅读笔记5】反卷积和膨胀卷积
参考： A guide to convolution arithmetic for deep learning 如何理解深度学习中的deconvolution networks？要点：卷积运算实际上是一种矩阵的乘法运算。反卷积相当于卷积在神经网络结构的正向和反向传播中做相反的矩阵运算。 卷积运算可表示为（C是一个由卷积核转换而来的稀疏矩阵）。而反卷积运算就是正向时...
2018-10-18 11:19:41
1521
原创 【论文阅读笔记4】FCN论文详解（第一篇语义分割论文阅读）
论文：Fully Convolutional Networks for Semantic Segmentation 一、语义分割 这部分主要参考：FCN 图像语义分割的意思就是机器自动分割并识别出图像中的内容，比如给出一个人骑摩托车的照片，机器判断后应当能够生成右侧图，红色标注为人，绿色是车（黑色表示back ground）。 图像的语义分...
2018-10-16 22:55:17
2205
原创 【论文阅读笔记3】DenseNet和分类网络汇总
可参考：DenseNet 简介 论文：Densely Connected Convolutional Networks一、介绍 这篇论文是CVPR2017 的best paper，主要探讨了如何改进网络结构提升网络性能的方法，提出了dense block，密集连接的概念。 DenseNet具有以下一些优点：减轻梯度消失问题 增强特征的传播 促进特征...
2018-10-16 20:48:42
1339
原创 【keras实战】用DenseNet实现五种花的分类
前言 本次实战是应用keras已经封装好的application模型DenseNet 来做分类，提供代码以供参考。代码除了需要更改路径和分类数（我的数据集是5类）外，应该不需要做其它改动可以直接运行。本文的代码基本都是拿别人的代码拼拼凑凑修修剪剪得到的，没什么原创性，所以不会上传github。（给自己的懒惰找了个正当的理由~）参考： 训练和测试代...
2018-10-12 09:57:10
21383
76
原创 【keras实战】用Inceptionv3实现五种花的分类
参考：keras系列︱迁移学习：利用InceptionV3进行fine-tuning及预测、完美案例（五） 一、数据集准备训练数据花朵图片下载：地址图片下载好后划分数据集，分为训练集和验证集，训练集每类图片500张，验证集每类图片100张。这是我数据集的树图：二、训练模型环境：Ubuntu,Anaconda2,python2.7,tensorflow,keras...
2018-10-10 21:30:13
7789
19
原创 【论文阅读笔记2】Inception系列论文小结
这一系列论文主要探究的是如何scale up网络（加深和变宽两个方面）的同时，尽可能减少计算量。一、Inceptionv1论文名称：Going deeper with convolutions（可精读）简介：GoogleNet的最早版本，当年ImageNet大赛的的第一，基于NIN网络提出。亮点：提出了Inception module,代替人工决定了卷积层或池化...
2018-10-04 16:37:08
529
原创 【论文阅读笔记1】LeNet、AlexNet、VGG小结
一、LeNet 论文题目：“Gradient-Based Learning Applied to Document Recognition” 简介：该论文的第一作者是深度学习三巨头之一的Yan LeCun，发表于1998年。这是一篇手写体识别的经典论文，更是CNN的开山之作，它确立了卷积神经网络的基本结构。 阅读重点：Section2 的A、B两部分。两部分的翻译见...
2018-09-26 19:40:49
491
原创 【深度学习笔记】关于卷积层、池化层、全连接层简单的比较
卷积层 池化层 全连接层 功能 提取特征 压缩特征图，提取主要特征 将学到的“分布式特征表示”映射到样本标记空间 操作 https://www.cnblogs.com/nsnow/p/4562308.html 可看这个的动态图，可惜是二维的。对于三维数据比如RGB图像（3通道），卷积核的深度必须同输入的通道数，输出的通道数等于卷...
2018-09-22 20:51:05
4493
原创 【深度学习笔记】优化算法（ Optimization Algorithm）
本文依旧是吴恩达《深度学习工程师》课程的笔记整理与拓展。一、优化算法的目的与挑战 优化算法主要是用来加快神经网络的训练速度，使得目标函数快速收敛。 优化问题面临的挑战有病态解、鞍点、梯度爆炸与梯度消失……具体可见参考文献【1】241页到249页。 其中深度学习不太可能陷入局部最优，因为loss函数通常涉及多个维度(w1,w2...)二、常见的优化算法1、基...
2018-09-15 20:27:43
4927
原创 【深度学习笔记】正则化（Regularization）
本文主要是对吴恩达《深度学习工程师》在线课程关于正则化部分的笔记整理，并进行了一定的扩展。 一、何为正则化 在《深度学习》【1】一书中，正则化的定义是“对学习算法的修改——旨在减少泛化误差而不是训练误差”。我们知道正则化的目的是减少过拟合，对应定义中的泛化误差。那是不是减少过拟合的方法都可以叫做正则化呢？这个问题我暂时还无法解答。通过查阅相关资料我发现，通常在机器学习...
2018-09-15 17:21:33
847
原创 【深度学习笔记】初步理解交叉熵（Cross Entropy）
交叉熵是信息论中的一个重要概念，用于衡量两个概率分布之间的差异。在机器学习中常用作损失函数。本文主要参考《Visual Information Theory》,结合本科课程学习过的《通信原理》,希望能较为直观地初步理解交叉熵概念一、何为熵 熵可以理解为通信中的最短平均码长。作者假想了一个人叫Bob,Bob和作者通信，只使用四个单词："dog"、“cat”、“fish”、"bird”。这四个单...
2018-05-09 13:41:43
3198
原创 【Android开发笔记】创建和使用Android库
Android开发的过程中，很多模块在多个project中要用到，每次都新建类，打开原来的工程，复制粘贴代码很不方便。所以就想要把要用的模块封装成库，查了下官方的操作指南，具体的操作步骤如下： 一、创建一个库module 1、file-new-module（注意module的名字一定不要叫app，会和新建一个工程时默认的module重名） 2、选择Android库或JAVA库（JAVA库只...
2018-04-15 20:11:06
297
原创 Ubuntu16.04下基于Anaconda3安装tensorflow-gpu(python=3.5)
安装方式很多，这里采用基于Anaconda3的安装方法。操作系统：Ubuntu16.04硬件配置：GeForce GTX 1080 Ti网络环境：不能翻墙安装好的软件：sublime、搜狗拼音输出法安装Anaconda 安装Cuda Toolkit和CUDNN 安装tensorflow-gpu特别提醒：严格按照对应版本安装，否则后面跑tensorflow的程序时很容易...
2018-04-06 21:56:20
371
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人