- 博客(266)
- 收藏
- 关注
RSS订阅原创 扩散模型：DDPM的两种数学推导
在上一篇文章最后结尾时，笔者提到扩散模型(Diffusion Models)实际上就是一种在限定条件下的马尔可夫层次变分自编码器(Markovian Hierarchical Variational Autoencoder, MHVAE)，是融入了马尔可夫过程的VAE模型。其本质上和VAE的流程有相似之处，都是经过原始图像->高斯噪声图->生成图像的三个步骤。本文将接续上一篇关于ELB...
2024-04-14 10:58:29
984
原创 概率的艺术：变分下界(ELBO)与VAE
按照年初的规划，LLM和AIGC是笔者今年重点学习的两大方向，目前已经分两条线在逐步展开中。笔者最近对Stable Diffusion在本地进行了部署，深度尝试使用了三周时间，对SD常规用法、LoRA、Textual Inversion、Dreambooth和ControlNet均小有尝试，以下均为笔者使用SD绘制的效果图片(相关模型均来自Civitai)。SD等绘图工作背后的核心技术就是目前非常...
2024-04-08 16:17:03
939
原创 深度学习图像分割，我准备了103篇SOTA论文合集
大家好！我是louwill。深度学习近年来在众多领域已取得了令人瞩目的成就，计算机视觉正是其中的典型代表。图像分割是图像处理和计算机视觉的一个重要应用方向，在深度学习的影响下，图像分割经历了由传统图像处理技术向深度学习主导的重要转变。特别是去年SAM等一众图像分割大模型涌现，深度学习图像分割发展已近白热化。过去一年里，《深度学习图像分割》这本书已完成初稿，近日在整理相关文献以备下一轮修改。这本书累...
2024-02-22 15:16:46
351
2
原创 gpt-4-turbo、gpt-4v、dall-e-3 api实测！
上周GPT大更新，不仅开放了GPT-4-Turbo、GPT-4-Vision等模型api，还发布了GPTs，使得用户能够根据需要定义自己的GPT应用，OpenAI在这波AI革命上又一次震撼世人。笔者也在上周拿到了几个新模型的api资格，一直盼着可以测试年初就官宣的多模态功能，所以迫不及待的就测了一波。DALL.E 3绘图功能测试from openai import OpenAIclient ...
2023-11-13 17:07:03
2067
原创 很久不互动了，谈一下近况
我是louwill，各位晚上好！今年因为有了娃，90%的空闲时间都在带娃，加上下半年的两个职称考试，所以公众号很少有时间写原创，也很少跟各位读者朋友们有互动了。晚上刚给娃哄睡下，打开公众号原创编辑页面，简单跟大家聊几句。今年4月底，有了一个心心念念的可爱女儿，自此一直在朝着奶爸的方向努力。工作上中规中矩，可能处于一种特殊的瓶颈期吧。时间一晃到了11月，稍微有一点时间可以输出一些内容。今年一项重要的...
2023-11-12 22:49:24
275
1
原创 第12章 PyTorch图像分割代码框架-3：推理与部署
推理模块 模型训练完成后，需要单独再写一个推理模块来供用户测试或者使用，该模块可以命名为test.py或者inference.py，导入训练好的模型文件和待测试的图像，输出该图像的分割结果。inference.py主体部分如代码11-7所示。代码11-7 推理模块部分# 导入相关库import numpy as npimport torchfrom PIL import Image# 定义...
2023-11-09 17:15:32
570
原创 第12章 PyTorch图像分割代码框架-2
模型模块本书的第5-9章重点介绍了各种2D和3D的语义分割和实例分割网络模型，所以在模型模块中，我们需要做的事情就是将要实验的分割网络写在该目录下。有时候我们可能想尝试不同的分割网络结构，所以在该目录下可以存在多个想要实验的网络模型定义文件。对于PASCAL VOC这样的自然数据集，我们可能想实验Deeplab v3+、PSPNet、RefineNet等网络的训练效果。代码11-3给出了Deepl...
2023-11-06 18:55:08
306
原创 第12章 PyTorch图像分割代码框架-1
从本章开始，本书将会进行深度学习图像分割的实战阶段。PyTorch作为目前最为流行的一款深度学习计算框架，在计算机视觉和图像分割任务中已经广泛使用。本章将介绍基于PyTorch的深度学习图像分割代码框架，在总体框架的基础上，基于PASCAL VOC 2012数据集，分别介绍预处理模块、数据导入模块、模型模块、工具函数模块、配置模块、主函数模块、推理模块和部署模块等。每个模块都会在基本的代码结构基础...
2023-10-24 16:27:00
342
原创 在微信上部署GPT-4.0！
自从OpenAI开放api以后，使得基于GPT的各类二次开发的应用逐渐多了起来。笔者也在前几天也刚刚收到了GPT-4的api使用资格。由于众所周知的原因，在OpenAI官网使用GPT多少有点不那么顺畅。笔者曾经尝试过一些本地化部署个人GPT的项目，比如基于ChatGPT Next部署的个人GPT，有api的读者可以在下面地址进行体验，速度比官网还要快：https://www.louwillgpt....
2023-05-07 20:50:23
3567
1
原创 UniverSeg：通用医学图像分割模型来了！
自从今年以来ChatGPT爆火和GPT-4的发布，一时间在大模型的潮流下，通用人工智能（AGI）也呼之欲出。随着本月初SAM和SegGPT等通用的CV大模型的提出，大模型和通用模型这把火也逐渐烧到的CV领域，特别是图像分割领域。很多做分割方向的小伙伴自我调侃说一觉醒来，自己的方向没了。笔者所在的医学影像行业，一直以数据和高成本标注而筑起非常高的领域壁垒。几个月前要是有人跟我说想做一个医学影像的通用...
2023-04-15 17:09:38
4612
原创 ChatGPT Plus已重新开放升级！
前天（4月5号）OpenAI声称因为算力不足暂时关闭了升级Plus账号的通道，恢复时间未知。很多用户感慨GPT-4还没体验到就没了。没想到时隔一天，OpenAI就重新开放了升级通道，不知道是真的算力不足还是营销策略。不过考虑到不知道OpenAI会不会未来经常算力不足，有GPT-4使用需求的朋友可以考虑尽快升级为Plus用户。随着大模型和AGI的风靡，最近一段时间，笔者所创建的社群都在讨论GPT和A...
2023-04-07 16:16:07
10599
2
原创 文心一言与GPT-4比对测试！
Waitlist了三个星期，今天下午终于拿到了百度文心一言的体验资格，于是立刻展开测试。根据文心一言网页端信息显示，目前最新发版是4月1号的版本，版本号是v1.0.3，应该是从上个月16号发布会以后又做了两版迭代。根据文心一言自己的回答，可以看到文心一言是基于百度飞桨和文心大模型发布的大语言模型。话不多说，笔者下午对文心一言做了50来次测试，就其中的10来个问题与GPT-4的回答做了对比测试。这里...
2023-04-05 19:13:46
1849
原创 GPT-4+New Bing+Copilot！我的AI生产力工具组合
作为AIGC和AGI爆火的第一年，以ChatGPT为代表的通用AI助手开始成为每一位职场人的必备工具。不管你承不承认，由OpenAI和ChatGPT引领的这一波通用人工智能浪潮正在掀起一场新的科技革命。浪潮之下，我们每个人能做的就是积极拥抱变化，不断学习和尝试新的工具，将其转化为日常工作和学习中的效率神器。君子善假于物，对待新事物，特别是对我们有帮助的新事物，要毫不犹豫勇于接纳。作为一名6年经验的...
2023-03-31 16:16:47
1098
原创 GPT-4初体验！
作为去年12月初ChatGPT的第一批用户，这几个月一直在见证OpenAI和ChatGPT在NLP大模型和通用人工智能（AGI）上的狂飙。月中GPT-4发布的时候，觉得暂未开放多模态输入功能的话，先暂不升级账号。但随着ChatGPT全面接入笔者日常工作中，又深感有必要升级为Plus账户。前两天折腾了下，终于成功体验上了GPT-4（账号升级过程略微复杂，这里不多说，感兴趣的读者可以私信我了解具体操作...
2023-03-26 19:44:14
1404
原创 深度学习论文精读[14]：Vision Transformer
从这篇文章开始，我们把深度学习语义分割的目光转向Transformer，即基于ViT的语义分割模型。在正式介绍Transformer分割网络之前，需要先了解一下ViT的分类网络。Vision Transformer (ViT) 可以算是整个Visuier任务的backbone网络。提出ViT模型的这篇文章题名为An Image is Worth 16x16 Words: Transformers ...
2022-09-25 19:43:03
742
原创 深度学习论文精读[13]：Deeplab v3+
Deeplab v3+是Deeplab系列最后一个网络结构，也是基于空洞卷积和多尺度系列模型的集大成者。相较于Deeplab v3，v3+版本参考了UNet系列网络，对基于空洞卷积的Deeplab网络引入了编解码结构，一定程度上来讲，Deeplab v3+是编解码和多尺度这两大系列网络的一个大融合，在很长一段时间内代表了自然图像语义分割的SOTA水平的分割模型。提出Deeplab v3+的论文为E...
2022-08-19 16:16:56
5427
1
原创 深度学习论文精读[12]：Deeplab v3
Deeplabv3是v2版本的进一步升级，作者们在对空洞卷积重新思考的基础上，进一步对Deeplab系列的基本框架进行了优化，去掉了v1和v2版本中一直坚持的CRF后处理模块，升级了主干网络和ASPP模块，使得网络能够更好地处理语义分割中的多尺度问题。提出Deeplab v3的论文为Rethinking Atrous Convolution for Semantic Image Segmenta...
2022-08-16 16:16:09
692
原创 深度学习论文精读[11]：Deeplab v2
Deeplabv2 严格上算是Deeplab v1版本的一次不大的更新，在v1的空洞卷积和CRF基础上，重点关注了网络对于多尺度问题的适用性。多尺度问题一直是目标检测和语义分割任务的重要挑战之一，以往实现多尺度的惯常做法是对同一张图片进行不同尺寸的缩放后获取对应的卷积特征图，然后将不同尺寸的特征图分别上采样后再融合来获取多尺度信息，但这种做法最大的缺点就是计算开销太大。...
2022-08-10 16:16:50
922
原创 深度学习论文精读[10]：Deeplab v1
在语义分割发展早期，一些研究观点认为将CNN用于图像分割主要存在两个问题：一个是下采样导致的信息丢失问题，另一个则是CNN的空间不变性问题，这与CNN本身的特性有关，这种空间不变性有利于图像分类但却不利于图像分割中的像素定位。从多尺度和上下文信息的角度来看，这两个问题是导致FCN分割效果有限的重要原因。因而，相关研究针对上述两个问题提出了Deeplab v1网络，通过在常...
2022-08-06 19:43:29
1827
原创 深度学习论文精读[9]：PSPNet
场景解析（scene parsing）是语义分割的一个重要应用方向，区别于一般的语义分割任务，场景解析需要在复杂的自然图像场景下对更庞大的物体类别的每一个像素进行分类，场景解析在自动驾驶和机器人感知等方向应用广泛。但由于自然场景的复杂性、语义标签的多样性以及目标物体的多变性，对于场景解析问题的研究一直存在诸多困难。场景解析一般基于FCN和空洞卷积网络来进行结构设计，后续的...
2022-07-31 19:43:41
3540
原创 深度学习论文精读[8]：ParseNet
U形的编解码结构奠定了深度学习语义分割的基础，随着基线模型的表现越来越好，深度学习语义分割关注的焦点开始由原先的编解码架构下上采样如何更好的恢复图像像素转变为如何更加有效的利用图像上下文信息和提取多尺度特征。因而催生出语义分割的第二个主流的结构设计：多尺度结构。接下来的几篇论文解读将对重在关注图像上下文信息和多尺度特征的结构设计网络进行梳理，包括ParseNet、PSPN...
2022-07-28 11:31:49
1717
原创 深度学习论文精读[7]：nnUNet
相较于常规的自然图像，以UNet为代表的编解码网络在医学图像分割中应用更为广泛。常见的各类医学成像方式，包括计算机断层扫描（Computed Tomography, CT）、核磁共振成像（Magnetic Resonance Imaging, MRI）、超声成像（Ultrasound Imaging）、X光成像（X-ray Imaging）和光学相干断层扫描（Optica...
2022-07-25 16:16:05
10747
2
原创 深度学习论文精读[6]：UNet++
UNet的编解码结构一经提出以来，大有统一深度学习图像分割之势，后续基于UNet的改进方案也经久不衰，一些研究者也在从网络结构本身来思考UNet的有效性。比如说编解码网络应该取几层，跳跃连接是否能够有更多的变化以及什么样的结构训练起来更加有效等问题。UNet本身是针对医学图像分割任务而提出来的网络结构，该任务不像自然图像分割，对分割精度要求并不是十分严格。但对于医学图像而...
2022-07-21 11:13:17
6404
4
原创 深度学习论文精读[5]：Attention UNet
以CNN为基础的编解码结构在图像分割上展现出了卓越的效果，尤其是医学图像的自动分割上。但一些研究认为以往的FCN和UNet等分割网络存在计算资源和模型参数的过度和重复使用，例如相似的低层次特征被级联内的所有网络重复提取。针对这类普遍性的问题，相关研究提出了给UNet添加注意力门控（Attention Gates, AGs）的方法，形成一个新的图像分割网络结构：Attent...
2022-07-18 16:16:38
4980
1
原创 深度学习论文精读[4]：RefineNet
对于高分辨率的图像分割问题，基于编解码结构的分割网络虽然有效，但因为卷积和池化下采样的存在，特征图在变小的过程会逐渐损失一些细粒度的信息，非常不利于高分辨率图像的像素稠密预测。针对这个问题，此前的各项研究归纳而言提出了如下三点处理方法：（1）类似于FCN和UNet，直接使用转置卷积上采样来恢复图像像素，但转置卷积对于下采样过程中丢失的低层信息的恢复能力有限。（2）使用空洞...
2022-07-15 20:34:14
965
原创 深度学习论文精读[3]：SegNet
在场景理解（Scene understanding）和自动驾驶（Autonomous driving）等应用领域，仅关注分割精度并不能满足应用需要，更应该关注模型推理速度和内存占用等性能。在编解码分割框架上，不同的方法在编码器上一般都是大同小异，但在上采样解码器上各有不同。来自剑桥的研究团队认为，在内存不受限和实时性要求不高的情况下，UNet将编码器中的特征图全部连接到解...
2022-07-13 18:34:44
1097
原创 深度学习论文精读[2]：UNet网络
FCN虽然做出了开创性的工作，FCN-8s相较于此前的SOTA分割表现，已经取得了巨大的优势。但从分割效果上看还很粗糙，对图像的细节处理还很不成熟，也没有考虑到像素与像素之间的上下文（context）关系，所以FCN更像是一项抛砖引玉式的工作，随着U形的编解码结构成为通用的语义分割网络设计范式，各种网络如雨后春笋般涌现。UNet是U形网络结构最经典和最主要的代表网络，因其...
2022-07-11 19:18:56
3577
原创 深度学习论文精读[1]：FCN全卷积网络
笔者最近在集中时间撰写深度学习图像分割一书，需要对语义分割众多经典论文进行回顾和精读。目前在写第五章：基于U形结构的网络结构设计，从语义分割的开山之作FCN开始，重启精读之路。随着CNN在图像识别中取得巨大成功，一些经典的图像分类网络（AlexNet、VGG、GoogLeNet、ResNet）也逐渐被应用于更加细分的视觉任务中。很多研究者也在探索如何将分类网络进行改造后用...
2022-07-04 16:17:00
1017
原创 吴恩达2022机器学习专项课测评来了！
大家好！我是louwill。吴恩达老师2022年机器学习专项课（Machine Learning Specialization）上周全新来袭，课程本身并不是新课，与10年前的机器学习专项课相比，编程语言用Python代替了此前的Octave，主要定位于机器学习入门与初学者。Machine Learning Specialization主要包括3门课：监督机器学习：回归与分...
2022-06-25 11:01:21
999
1
原创 【意见征求稿】第1章 深度学习图像分割概述
深度学习近年来在众多领域已取得了令人瞩目的成就，计算机视觉正是其中的典型代表。图像分割是图像处理和计算机视觉的一个重要应用方向，在深度学习的影响下，图像分割经历了由传统图像处理技术向深度学习主导的重要转变。本章作为一个概述性章节，主要对深度学习、计算机视觉和图像分割进行简单的综述，对本书涉及的主要工具和框架进行简介，对本书内容和章节做出简要安排。1.1 深度学习与计算机视...
2022-04-28 16:16:00
3159
原创 基于区域生长的图像分割算法！
图像分割的目的是将图像划分为多个不同的区域，所以我们可以直接从寻找图像中的区域来设计分割算法。区域生长正是一种基于区域寻找的传统图像分割算法。区域生长基本原理区域生长（Region Growth）算法是一种基于区域的传统图像分割算法。区域生长可以根据预先定义的生长规则将像素或者小区域不断组合为更大区域的过程。具体地，区域生长是从一组初始种子点出发，通过预先定义的区域生长规...
2022-04-03 21:01:37
26963
4
原创 GPU选型调研！3090依旧是性价比之王
最近算力不够，一些加Transfomer的3D图像分割，现有的显卡显存都带不动，或者是一个实验要跑一周以上时间。所以近期又专门花时间调研了下GPU选型。现有两张3090显卡，因为是公版，卡...
2022-03-04 15:52:10
8030
原创 《机器学习 公式推导与代码实现》随书PPT示例
大家好！我是louwill。年前说要为《机器学习 公式推导与代码实现》一书配套随书的PPT，过年期间断断续续做了一些工作，目前初步完成了几章内容的PPT，先发一章示例给大家，希望大家多提一...
2022-02-22 16:47:07
1406
原创 《机器学习公式推导与代码实现》将会配套PPT和视频讲解！
大家好，我是louwill！《机器学习 公式推导与代码实现》一书出版后，收到了很多读者的反馈，其中也有很多非常宝贵的建议。为了把这本书真正做到完善，帮助更多的人入门机器学习，接下来，我将会...
2022-01-20 20:51:06
1051
1
原创 2021，我读了32本书！
2021是笔者参加工作的第5个年头了，近两年通读了毛选之后，个人的认识论有了很大提升。所学所做之事都是为了提升自己的认知而服务。读书则是提高认知的最简单最低成本的事情。对于读书这件事情，年...
2022-01-05 16:16:00
398
2
原创 基于 docker 和 Flask 的深度学习模型部署！
模型部署Author：louwillMachine Learning Lab模型部署一直是深度学习算法走向落地的重要的一环。随着深度学习落地需求越来越迫切，具备一定工程部署能力是算法工...
2021-12-03 11:11:00
6011
1
原创 137页PPT！UC Berkeley 2021全栈深度学习之模型部署！
工业界的算法问题本质上都是工程问题。深度学习算法也当然不能例外。日常除了训练好一个模型之外，还需要将模型部署到生产环境中去，这就涉及到大量工程技术和一定的开发能力。最近，UC Berkel...
2021-11-29 16:16:00
1093
原创 新书预告 | 《机器学习公式推导与代码实现》出版在即！
今年新书《机器学习：公式推导与代码实现》历经一年多写作、整理和修改，目前纸质版二校中，不出意外将在下个月与各位读者见面。全书总共6大部分26个章节，包括入门、监督学习单模型、监督学习集成模...
2021-11-08 17:39:54
809
原创 基于阈值处理的图像分割算法！
图像处理Author：louwillMachine Learning Lab基于阈值的图像分割因其处理直观、实现简单和计算速度快，是一种更为常用的传统图像分割算法。本文基于图像灰度阈值处理...
2021-10-04 20:27:04
12600
4
原创 基于边缘检测的图像分割算法！
图像处理Author：louwillMachine Learning Lab从本文开始，笔者计划花一些时间对传统的图像分割算法进行一个系统的梳理，叙述方式仍然是以原理阐述和代码实现为主。谈...
2021-10-01 21:15:18
10536
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人