chestnut---CSDN博客

原创从loss处理图像分割中类别极度不均衡的状况---keras

最近在做小目标图像分割任务（医疗方向），往往一幅图像中只有一个或者两个目标，而且目标的像素比例比较小，选择合适的loss function往往可以解决这个问题。以下是我的实验比较。场景：1.U-Net网络2. kerasbinary_crossentropy二分类交叉商损失会导致模型学习不到很好的效果，因为背景所占的比例太大，而目标太小，是严重的不平衡数据。Focal loss...

2019-02-10 23:21:35 92402 94

原创【论文阅读】Megatron-LM要点

本文主要是对李沐老师的b站分享做一下自己的理解和总结。模型结构无非就是那样，相比而言，想要训练更大的模型而又能平稳进行，是一项非常高超的技术！nvidia跟gpipe类似，也是模型并行，但是在任务切割上面跟gpipe不一样。gpipe： transformer也可以，cnn也可以，比较通用的方式。把不同的层放到不同的gpu，加入数据并行，成为流水线并行。Megatron-LM：只针对特别大的使用transformer的语言模型，层中间切开，然后放到不同的gpu上。

2023-06-05 11:35:31 1300

原创模型运行过程中占内存的中间变量

具体激活函数产出的临时变量会占多大的显存呢？是否比参数占的要多的多呢？计算一遍，做一遍前向运算，会减少显存的使用，但是会增加耗时。2占了很大的比例，又包括激活中间变量和优化器部分；假设激活函数是sigmoid，则导数的值为。也可以不保存下来，需要用到的时候再用。为了方便参数更新，一般会将。进行前向运算重新计算一遍；暂时保存下来，非常占显存，...

2022-08-12 15:21:40 911 1

原创 Pyspark 对String列进行Pivot操作

参考：https://stackoverflow.com/questions/37486910/pivot-string-column-on-pyspark-dataframe使用 from pyspark.sql.functions import firstimport pysparkimport os from pyspark import SparkContext, SparkConffrom pyspark.sql.session import SparkSessionconf = Sp

2022-05-12 15:54:24 623

原创【论文阅读】统一模态 UNIMO 模型

统一模态前言：多模态成对的数据是非常有限的！现有的模型预训练方法要么专注于单模态任务，要么专注于多模态任务，不能有效地相互适应。（多模态任务模型应用于单模态任务上，效果会大大下降，，多模态模型如何应用到单模态的任务上呢？多模态训练的模型不是必须要有两种不同的输入才行，只属于一种不行吧？。。）它们只能使用单模态数据（即文本或图像）或有限的多模态数据（即图像-文本对）。提出了一种 UNIfied-Modal 预训练架构，即 UNIMO，它可以有效地适应单模态和多模态的理解和生成任务。利用大规模的.

2021-11-05 17:39:45 614

原创【论文阅读】xgboost

之前有用过xgboost，但是对于其原理并没有去深刻的挖掘和理解，想要明白xgboost还是需要看chentianqi的论文呀，之前的几点疑问记录如下：1. 如何处理缺失值？2. 近似树学习是什么？3. 如何并行？分布式？4. 工程上做了什么？5. 跟gbdt的区别是什么？通过阅读论文来解决以上几点的疑问；

2021-09-28 11:58:00 378

原创 FFMPEG geq与比较函数

比较函数https://ffmpeg.org/ffmpeg-utils.html1、gt(x, y)Return 1 if x is greater than y, 0 otherwise.如果x比y大则返回1，否则返回0 ；2、gte(x, y)Return 1 if x is greater than or equal to y, 0 otherwise.如果x大于等于y则返回1，否则返回0 ；3、hypot(x, y)计算点(x,y)(x, y)(x,y)到原点的距离；4、if(x

2021-07-09 11:03:00 780

原创哈夫曼树以及哈夫曼编码python

非常好的参考资料，看完就懂了1、漫画：“哈夫曼编码” 是什么鬼？2、漫画：什么是 “哈夫曼树” ？PYTHON 实现1、二叉树，需要自己实现__lt__class BinTreeNode(object): """ """ def __init__(self, data, left=None, right=None): """ """ self.data, self.left, self.right = data, left,

2021-07-06 13:37:17 392

原创 FFmpeg drawtext %文本消失问题

直接使用：ffmpeg -i 1.mp4 -vf "drawtext=text='Super User % ':x=(w-text_w)/2:y=(h-text_h)/2:fontsize=24:fontcolor=white" -c:a copy output.mp4会得不到文本，log显示：[Parsed_drawtext_0 @ 0x7fdc5be06e40] Stray % near '' Last message repeated 45 times[Parsed_drawtext

2021-03-25 10:20:10 1048

翻译 FFmpeg Video Editor

参考自：https://androidlearnersite.wordpress.com/2017/03/17/ffmpeg-video-editor/【主要是为了学习相关ffmpeg命令～～～】前言FFmpeg是可用于编辑或转换视频和音频的工具。它包括libavcodec –音频/视频编解码器库。FFmpeg的一些用途是：Video Compress —— 视频压缩Audio Compress —— 音频压缩Video Cut ——视频剪辑Video Rotate ——视频旋转V

2021-03-21 16:04:26 364

原创【pandas】dataframe根据某列是否是null筛选数据

选择列值为null/None/nan的行df[df[2].isna()]选择列值不为null/None/nan的行df[df[2].notna()]

2021-03-11 10:07:18 10667 1

原创【pandas】读取大型文件技巧

当csv文件特别大时，pandas读取整个文件非常的耗时，比如我这边有文件大小为5.77G!wc -l x.csv行数2390492也非常多；用pandas加载x.csv，花了将近2分钟。为了加快速度，将使用python 包datatableimport datatable as dt%%timetrain_data_datatable = dt.fread('x.csv')CPU times: user 27.6 s, sys: 3.31 s, total: 30.9 sWall t

2020-12-31 16:40:21 1638

原创【ffmpeg】不带透明通道的视频overlay

场景不带透明通道的视频，除非是那种图标或者其他小的标志图片，如果想将整个视频覆盖到原视频上，且使黑色像素透明的话，直接overlay就不可以了，会把底层的视频整个覆盖掉；解决方法一此时我们要用到：alphamerge【https://ffmpeg.org/ffmpeg-filters.html#alphamerge】Add or replace the alpha component of the primary input with the grayscale value of a secon

2020-11-13 19:42:56 694

原创【ffmpeg】overlay带有透明通道的视频

直接用下面overlay带有透明通道的视频时会出现，浮层视频边缘锐化，或者亮度变暗等等问题ffmpeg -i in.mp4 -i x.mov -filter_complex "[0][1]overlay" -y output.mp4改进方式：添加参数alpha=1ffmpeg -i in.mp4 -i x.mov -filter_complex "[0][1]overlay=alpha=1" -y output.mp4https://ffmpeg.org/ffmpeg-filters.

2020-11-10 23:01:10 2802

原创【论文阅读】Deep Modular Co-Attention Networks for Visual Question Answering

Deep Modular Co-Attention Networks for Visual Question Answering先理解下这个要干嘛：Visual Question Answering (VQA)：给一个图片和关于这个图片的问题，然后模型输入这两个数据，输出答案。文章中用得到的数据库VQA-v2里的一个例子：把中间的乱七八糟给盖住：输入问题：胡子是用什么做的？输出答案：香蕉需要设计网络做到同时理解文本内容，抓住关键词，同时理解图片中关键区域的内容：“哪里是胡子”这个问题肯.

2020-11-10 20:06:12 1095 1

原创【SimpleITK】Resampling重采样

API :sitk.Resamplesitk.Euler2DTransform (sitk.Euler3DTransform)Resampling 顾名思义，对一幅图像进行重采样操作。而图像本身就是对原始连续信号的采样。一搬来说使用 SimpleITK重采样包含以下四个部分：我们需要重新采样的图像image，在坐标系mmm下。???why?重采样网格（Resampling gr...

2020-11-01 21:31:47 1334

原创 ffmpeg drawtext居中放置

ffmpeg drawtext居中放置主要是这两个参数：drawtext="fontsize=30:fontfile=FreeSerif.ttf:text='hello world':x=(w-text_w)/2:y=(h-text_h)/2"

2020-10-27 11:18:51 1585 1

原创【git】克隆成功，但是检出失败

问题git clone xxx显示：正克隆到 'xxx'...|Please wait a moment...remote: Total xx (delta 0), reused xx (delta 0)接收对象中: 100% (xx/xx), xx MiB | xx MiB/s, 完成.处理 delta 中: 100% (x/xx), 完成.正在检出文件: 100% (xx/xx), 完成.fatal: BUG: your vsnprintf is broken (returned -

2020-06-16 12:57:07 5954

原创【pandas】column变index，dataframe转置

df1 = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'a', 'b'], 'data1': range(7)})df1df1.set_index('key').T

2020-06-08 18:55:33 2429

原创【论文阅读】Combo-Attention Network for Baidu Video Advertising

text-to-video search is a cross-modal search.要做什么事？文本query，输出相关的视频（短视频）。属于跨模态（text——video）检索。关键：文本的特征怎么选，视频的特征又怎么选呢？如何衡量文本跟视频之间的相似度？网络如何融合两者的特征呢？创新点数据视频特征提取视频的local feature提取使用预训练的faster rcnn（backbone Resnet101）对每一帧提取bounding box，对于每个检测到的感兴..

2020-06-06 18:16:42 1054 2

转载图解BERT模型：从零开始构建BERT

转载：https://cloud.tencent.com/developer/article/1389555本文首先介绍BERT模型要做什么，即：模型的输入、输出分别是什么，以及模型的预训练任务是什么；然后，分析模型的内部结构，图解如何将模型的输入一步步地转化为模型输出；最后，我们在多个中/英文、不同规模的数据集上比较了BERT模型与现有方法的文本分类效果。1. 模型的输入/输出BERT模型的全称是：BidirectionalEncoder Representations from Transfo.

2020-06-05 21:07:25 19057 6

原创 ffmpeg drawtext文本超出视频画幅处理

2020-06-02 16:13:02 939

原创 ffmpeg drawtext同时添加多行文本

使用drawtext官方文档：FFmpeg Filters Documentation添加一行文本：添加文字：ffmpeg -i original.mp4 -vf drawtext=fontcolor=black:fontsize=50:text='Hello World':x=0:y=100 -y out.mp4结果展示：将文本放到图像的中间：现在我们想同时添加多行文本：可以使用[in]标记并使用逗号列出每个文本，从而在一个文件上指定多个文本。如果通过其各自的定位方法来定向每个.

2020-06-01 23:44:08 4977 8

原创【论文阅读】Table-to-text Generation by Structure-aware Seq2seq Learning

2018 AAAI论文;2017年其实就已经发到arxiv ;—bert为2019年提出，现在是否有基于b ert来做的呢？；GitHub : https://github.com/tyliupku/wiki2bio;作者: 教育部计算语言学重点实验室，北京大学电子工程与计算机科学学院;本质感觉就是seq2seq attention的新玩法。。。一、要完成的事根据结构化表格，自动生成人物的传记！听起来很酷！但是仔细一想，其实类似于医疗领域的自动诊断单的生成，不过医疗的话其实是先对图像分析.

2020-06-01 16:18:59 2064 1

原创 ffmpeg给视频添加文字

使用drawtext开发环境mac，首先安装ffmpeg(时间可能会较长。。)：brew install ffmpeg添加文字：ffmpeg -i original.mp4 -vf drawtext=fontcolor=black:fontsize=50:text='Hello World':x=0:y=100 -y out.mp4输入文件 original.mp4fontcolor 文字颜色为黑色blackfontsize 文字大小为50text 文本内容 “Hello Wo.

2020-05-31 12:02:39 6864 12

原创 pandas 调整列的顺序

经过一步步的处理操作，列的顺序发生了变化（旧列的删除，新列的添加），有时候我们需要调整列的顺序之后再进行保存：import pandas as pd import numpy as np df1 = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'a', 'b'], 'data1': range(7)})df1查看列名：df1.columnsIndex([‘key’, ‘data1’], dtype

2020-05-28 15:22:08 4363

原创 pandas根据某列值为key整合其他列值，拆分某列值增加多行数据

一、根据某列值为key，整合其他列值直接上例子：import pandas as pd import numpy as np df1 = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'a', 'b'], 'data1': range(7)})df1整合，根据key值，对于同一个key值，有多个data1与之对应，将多个data1之间用分隔符\t连接，作为一个元素：ex_data = df1.grou

2020-05-27 18:57:20 3623

原创 pandas merge应用

最近频繁处理表格数据，再次感受到了pandas的伟大。pandas mergepandas merge可根据一个键或者多个键将不同的DataFrame中的行连接起来。实现的是类似SQL或者关系型数据库的数据库连接操作。数据库风格的DataFrame合并一对多的合并import pandas as pd import numpy as np df1 = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'a', 'b'],'data1': ran

2020-05-27 11:41:41 231

原创【论文阅读】Efficient Net

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks.自AlexNet赢得2012年ImageNet竞赛以来，CNN已成为用于深度学习中各种任务的实际算法，尤其是对于计算机视觉。从2012年至今，研究人员一直在尝试并尝试提出越来越好的架构，以提高不同任务上模型的准确性。今天，我们将深入研究最新的研...

2020-04-18 22:16:45 549

原创【SimpleITK】使用区域生长法/种子填充法/形态学分割肺-CT img

import SimpleITK as sitkimport matplotlib.pyplot as plt 导入数据：img_path = “...”img = sitk.ReadImage(img_path)img.GetSize()(512, 512, 121)img_arr = sitk.GetArrayFromImage(img)plt.imshow(img_arr...

2020-02-05 10:20:02 6375 4

原创【SimpleITK】分割label覆盖到原图上显示

医疗影像跟自然场景下图像的区别之一就是“像素”范围不一样，在将label覆盖到原图上时也略微不同，但是必须要将图像归一化到[0,255][0,255][0,255]。我们使用SimpleITK的相关API来解决这个问题。数据为BraTS2019的数据，label 有4个，[0,1,2,4]。from __future__ import print_function%matplotlib i...

2020-01-17 11:37:05 3903 21

原创【SimpleITK】医疗影像分割结果评价指标计算

文章目录Overlap MeasuresSurface Distance Measuressome APIOverlap Measuresjaccarddicevolume_similarityfalse_negativefalse_positive其中：Volume measures:volumeSimilarity2∗(v1−v2)v1+v2 volumeSimilari...

2020-01-16 17:20:48 3609 1

原创【SimpleITK】分割结果融合策略

前言有时我们会有多个专家标注的结果或者是多个模型得到的结果，对所有的结果做一个融合，目前有两种主流做法：投票法 (majority vote)STAPLE (Simultaneous Truth and Performance Level Estimation)对多个专家的标注结果进行融合之后，我们得到的标注就可以作为ground truth参与到模型的分割训练；当然，对多模型的结果进...

2020-01-16 11:44:29 2750 1

原创分类评价指标

有些东西虽然简单，但是还是要过个7、8遍才不容易记混记乱。Accuracy…Sensitivity在患病的所有人中（已经明确知道数据的分布了！），预测正确（判断为有病）的有多少？Sensitivity=TPTP+FNSensitivity = \frac{TP}{TP + FN}Sensitivity=TP+FNTPSpecificity在未患病的所有人中（已经明...

2020-01-09 18:04:44 485

原创【医疗影像处理】对分割的mask做处理，保留最大联通区域

APIskimage.measurehttps://scikit-image.org/docs/dev/api/skimage.measure.htmlout_arr 为得到的结果mask矩阵。from skimage import measurelabels = measure.label(out_arr, neighbors=8)print(np.unique(labels...

2020-01-07 15:04:34 1675

原创【医疗影像处理】DICOM Rescale Intercept / Rescale Slope

What is Rescale Intercept / Rescale Slope?DICOM tags :Rescale intercept (0028|1052)Rescale slope (0028|1053)缩放斜率和截距由硬件制造商决定。它指定从存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换。磁盘存储的值定义为SV。而转化到内存中的像素值uints就需要两个dic...

2020-01-02 14:21:38 7049 7

原创 Pandas标签统计

数据来源：https://www.kaggle.com/c/rsna-intracranial-hemorrhage-detection/data —— stage_2_train.csvAPIgroupyunstackvalue_countscsv data查看 labellabel = traindf.Label.valueslabelarray([0, 0...

2020-01-02 11:23:37 892

原创【医疗影像处理】antspy数据读取与保存

Antspy三个API:image_readfrom_numpyimage_writeimage_readimport antsfile = '../T1.nii'data = ants.image_read(file)ants.plot(data)from_numpyget numpyarr = data.numpy()arr.shape# (240, 240,...

2019-12-31 18:22:42 1487

原创【医疗影像处理】dcm2niix python3 使用

dcm2niix将 dicom序列转为nifti。dcm2nii 与dcm2niix网址NITRC。dcm2nii是一个流行的工具，用于将扫描仪制造商使用的复杂格式(DICOM、PAR/REC)转换为许多科学工具使用的简单NIfTI格式。dcm2nii适用于所有的模式(CT、MRI、PET、SPECT)和序列类型。注意:dcm2nii通常包含在MRIcron下载中。MRIcron有wi...

2019-12-05 10:05:51 5025 4

原创【论文阅读】Automated quantification of white matter lesion in magnetic resonance imaging

2013年的一篇论文。无监督白质高信号分割。数据是脑梗数据（白质高信号一般较严重）。第一作者是香港中文大学林石，博脑创始人。该方法在验证集脑梗数据上，dice 0.836。前言自动分割wmh的方法：无监督方法WML在T2W或FLAIR中表现为高信号，启发了基于图像强度信息的WML检测方法，利用高斯函数逼近直方图的强度阈值进行WML分割。卡阈值 (Hirono et al....

2019-12-02 17:13:27 391

itksnap-3.8.0-20190612-MacOS-x86_64.dmg

itksnap-3.8.0-20190612-MacOS-x86_64.dmg mac端的标注工具，针对 nifty 和dicom

2019-12-04

MRIcroGL_windows.zip

MRIcroGL_macOS_dcm2niix , 支持 dcm 转 nifty , windows客户端，最新版本 https://github.com/rordenlab/dcm2niix;https://www.nitrc.org/plugins/mwiki/index.php/dcm2nii:MainPage

2019-12-03

MRIcroGL_macOS.dmg

MRIcroGL_macOS_dcm2niix , 支持 dcm 转 nifty ,mac客户端，最新版本 https://github.com/rordenlab/dcm2niix;https://www.nitrc.org/plugins/mwiki/index.php/dcm2nii:MainPage

2019-12-03