shelgi的博客

我通过tch用Rust实现了对Yolov8的推理,并且最终输出结果与实际推理结果一致,很好的做到了精度对齐.不过这里面还是存在一点点小问题的,模型推理讲究的是推理时间与实时性要求,来看看在不同device下我推理时间的结果.

其实这是一个拖了很久很久的坑,不知道多少人看过我之前的一篇博客关于torch.fx的使用,在这里面我用torch.fx实现了一些很有趣的功能比如模型可视化.所以当时就有一个想法,把代码封装一下写成一个属于自己的三方库,正好今天有点时间就把这个坑给填上.这个工具的主要功能很简单,直接指定某个py文件工具会自动寻找文件中所有的nn.Module并进行解析可视化.

最近接到一些改代码或者帮助debug的需求，大多数不是在本地而是autodl这种服务器上，有些人可能不太了解如何设置远程环境。通常在实验室一般都是在本地调好代码然后scp到服务器上去训练，不过这就需要本地有显卡能测试代码是否能跑通，或者直接在autodl这些提供的jupyter上去写代码（代码提示不算友好），一般复杂项目还是更倾向于在Pycharm，VsCode这种编辑器中开发。正好端午节回家，用家里的MacBook和服务器来演示一下整套流程以及介绍一下DDP相关的内容。

首先去查看官网docTORCH.FXnn.Module这句话很好的定义了FX的本质：用来改变module实例的一种工具。符号追踪可以捕获模块的语义进行解析;中间表示也就是IR记录了中间的操作，比如输入输出和调用的函数等；代码生成这个比较有意思，因为这是一个python-to-python的转换工具，这就从本质上区别了FX与一些AI编译器，推理库的区别。从流程上看，FX与推理库都是解析模型生成IR，然后融合算子呀优化等等，但是FX只是为了优化改变模型的功能，最终落脚点还是在python上；

今天正好是1024总得发点什么,上午正愁着没东西发突然逛着找到这个比赛正好水一篇Blog出来.要说改进想法当然也是有的,不过看到要小paper和视频介绍果断放弃,实在没精力.感觉图片大小可以用1024来训练,毕竟原图(2048,2880)并不小,大图片训练可以对小目标更清晰加点常用的注意力多尺度和上下文学习仔细观察训练图片对象本身找找特点。

上个结果对比框架平均推理时间(ms)最大推理时间(ms)最小推理时间(ms)TensorRT0.31950.63370.3023TVM Base0.76721.64670.6861TVM Tune0.56521.06230.5562费了九牛二虎之力调优出来的模型还是比不过TensorRT的推理速度,七小时调优只减少0.2ms的推理时间,但起码模型的稳定性得到了提升还是有些许安慰的.

在Ubuntu20上安装TVM,已经排除了所有容易遇到的坑,可以放心食用

模糊理论可以将输入的实际中的逻辑值转换为一种日常中的抽象化表示,根据隶属度区分成员,设置好模糊规则构建模糊集合,最终去模糊化得到结果.创新点可以在隶属度函数上改进,模糊最大的好处是不用进行训练,而是抽象化的包含隶属.如果用机器学习等方法,也可以实现上面案例的功能,但是需要构建训练数据.很多实际问题很难或者不太好找到真实表示的数据,毕竟生活中的抽象描述占主要部分.

其实这些并不难,难点都在针对各种实际问题设计高效算法这才是最需要思考的,部署这部分多玩几次自然就熟练了.

大厂出品果然不同,使用它在不考虑运行效率(有异步但是我懒得看了)的情况下可以轻松实现复杂操作,懒人最爱!

文章目录前言构思开始动手1.数据集准备2. 训练模型3. 转换模型格式4. 使用tensorRT改写效果最后前言这是最近的一次作业,试试本科竞赛内容应该没啥大问题吧正好水一篇博客.首先下载数据集,提取码 wwsj查看数据集给出的是json格式，训练集和测试集有标注(共110张)，其余还有无标注的需要自己手工标注。但是既然只是作业又不是去参加比赛，那就直接当小数据量样本训练.构思目前数据量较小,而且很明显是一个目标检测任务,并且涉及到算法落地的问题,所以开始之前一定要理清思路,想清楚每一步应

文章目录提取主色1. RGB Or HSV2. KMeans 自适应3. 整体过程及代码4. 结果后续提取主色最近有个小任务，需要提取图片中的主色块。最基本的做法就是聚类找主色，但是目前需要自适应提取，也就是说需要对于不同的图片提取出不同的主色块数量。1. RGB Or HSV貌似大多数提取主色都是建立在RGB色彩空间中，但是就人眼感知而言对红色不太敏感而对蓝色较为敏感；而且，RGB色彩空间是利用三个颜色分量的线性组合来表示颜色相关性很高，所以RGB是一种不均匀的颜色空间。再来看看HSV，对于单

文章目录前言正文开始实现可能遇到的问题效果前言很久没有弄点好玩的东西了，逛逛github，想到最近看到那种动漫化的头像很可爱，于是决定也去找找相关的项目玩玩，毕竟直接调用百度啥的api太没意思了。正文之前写过一些有关GAN的博客，大家应该对GAN有了基本的了解。最基础的内容就是基于零和博弈的思想使得生成器生成的假图像逼真的可以足够骗过判别器，更本质就是生成器从对抗中不断学习，学习到了真实图像中的数据分布。但是真正动手之后会发现训练GAN其实还是比较困难的，难点就在于难以收敛，而且还有模式崩塌的情况出

文章目录前言实现实现思路准备阶段开始动手结果结束前言不知道大家有多久没有对那些身边一直陪伴支持你的人、照顾你的人说一句“I LOVE YOU”。可能慢慢相处都会把对方对你的付出当作理所应当，忘了最开始时挂在嘴边的那些甜言蜜语。又或者正在追求幸福的朋友们，可能已经在网上学到了各种土味情话、撩妹套路，但是却忽视了行动。今天，我们就一起为那个他/她动手打出这句"I LOVE YOU"吧。实现实现思路首先去GitHub上查看cvzone，这是一个基于opencv和Mediapipe制作的图像处理以及一些

文章目录灵感风格迁移1.简述2.重点3.代码demo3.1 使用tensorflow-hub快速实现图像风格迁移3.2 自己动手实现风格迁移灵感我最近迷上了图雅老师的套马杆，美中不足的就是她总是“躲汉子”，或许是因为这个汉子不够帅不能吸引到她？那今天我就动手做一个帅气的“套马的汉子”。准备工作很简单，去下载一张帅气的男生图片以及一张马的图片就可以了。风格迁移论文paper链接1.简述风格迁移顾名思义就是将一个A图像的风格迁移到另一个B图像上混合在一起；最终的效果是产生一个看起来还是B图像的内

文章目录1.网络结构2.功能3.代码部分自编码神经网络是一种无监督学习算法，目标是让输出值与输入值尽可能相似1.网络结构简单的自编码器模型是一种三层神经网络模型，包含了输入层、隐藏层、输出重构层。在实际中，我们往往设计成两层模型编码层解码层编码层负责将数据读取，并且进行一系列线性变换，把输入样本压缩到隐藏层中。解码层需要将复杂的网络结构进行还原，尽可能地把还原后的值与输入值做到相似2.功能自编码神经网络，目标是实现输出的结果和输入的结果尽可能相似，并且有很重要的一个步骤就是将输入

文章目录前言开始动手安装实现代码注意最后前言首先祝大家新年快乐，新的一年都能实现自己的梦想最近在家无聊，那就找点灵魂伴侣？和大多人一样，玩玩探探。（我承认我就是渣男）今天突发奇想，能不能爬取探探的数据呢？搜了一下貌似都没有相关的内容，然后试着用Fiddler抓包试试，但是很不幸无法抓到任何数据。于是我就想着用点测试框架试试，所以我选择了Airtest开始动手安装一开始，当然是安装Airtest 下载地址从这里下载就好，然后打开文件夹中的.exe文件，运行AirtestIDE其实可以

文章目录前言步骤效果前言好久没写博客，主要是复习进度太慢没什么时间敲代码，所以也没什么新的东西写。不过正好这两天放假然后在家可以稍微休息一下，就抽了点时间出来尝试搭点东西玩。其实吧我昨天是想搭一下redash玩的，结果在win10上搭了几个小时，一开始不是库的问题就是cnpm install太慢，等了很久还是不能成功运行。然后还是妥协在docker上面去弄，结果docker compose的时候还是出错，到现在还是不知道什么原因，所以昨天就直接放弃了。今天换了一个目标，选择superset并且在ubu

文章目录前言开始动手代码总结前言已经忘了多久没写博客，确实没什么时间也没什么精力。不过我觉得比起看理论的那些书，我还是更喜欢动手敲敲代码。政治不是说认识和实践要结合才能实现两次飞跃嘛，抽点空给自己放松一下。刷推文发现了httpx这个库，想试一下这个库怎么玩，所以随手写了个简单的代码来玩一下。开始动手先去看看httpx官方文档httpx官方文档链接从开头就看得出它支持同步和异步请求，并且只支持python3，安装方法文档末尾也给出了，就是pip install httpx，需要python3.6

文章目录背景开始起初思考背景今天拿到个代码需要改改，他是用scrapy爬取大麦网，然后我改了将近一个小时还是得不到内容，第一是太久没用scrapy写爬虫，其次也是因为当时思路太死板，忘了一些重要的细节问题，所以导致一直改不好代码。然后点了个外卖，继续想这个问题。开始起初一开始我还是自己重新搭了一个scrapy的基本框架出来，还是那两句代码scrapy startproject 项目名生成一个项目scrapy genspider 爬虫名 网址生成爬虫，需要自己编写解析函数然后开始写解析函数以及

文章目录1.使用java简单爬取CSDN2.python的字符动态输出1.使用java简单爬取CSDN最近在看爬虫相关的知识，其实还是那句话，万变不离其宗。得到网页，然后解析就可以得到我们想要的内容了，但是现在很少用java写爬虫的吧，所以写了一个java爬虫玩一下。目标网站: CSDN首页然后java爬虫需要httpcilent请求，jsoup解析，相应的jar包链接如下，下载就好。链接提取码：63kv然后就是代码：package com.company;import org.apac

文章目录前言安装一个小例子最后前言之前制作视频一般都是pr或者是在线制作视频，然后昨天偶然看到了一个python的库—moviepy，现在我们可以写代码来制作视频了。安装这个库安装起来很简单，还是老样子pip install moviepy不过使用windows的话还需要安装ImageMagick，不然视频制作会报错。安装ImageMagick的博客安装好之后就可以慢慢探索这个库的使用了，基本上所有的视频剪辑操作都有相关的函数，我也发现了不少比较好的博客可以用来学习moviepy的基本使用

文章目录背景PyExecJS最后背景当我们爬取一些比较棘手的网站时，往往会涉及到各种各样的加密。但是其实很多加密都是通过js完成的，也就是说我们只要在网页中找到相应的js加密代码，然后复制运行就可以得到加密后的数据。当我们写python爬虫的时候，如果想运行js代码，就可以先写一个js代码得到结果，然后复制传进python去运行，或者是使用今天我介绍的这种全自动的方法。PyExecJS安装：pip install PyExecJS这个库可以让我们在python代码中运行js代码，实际运用也很简单，

文章目录前言开始动手1.导入数据，查看并且计算指标2.导入我们得到的指标，并且进行主成分分析3.添加主成分数据，进行拟合4.用svr给未完成的任务重新定价5.用原价格和主成分去训练SVM分类模型用刚刚训练好的SVM对新的价格和特征做预测模型评价最后前言依然是记录一次我的近期作业，这个做了一天半才做完，昨天通宵去拟合函数结果还是不理想，耽误了太多时间。主要原因还是昨天取的特征值太少了导致一直欠拟...

文章目录1.前言2.正文作业背景及要求开始动手1.首先，进行图片处理得到颜色矩2.建模过程思考与改进结束1.前言这一次是分享一次我的作业，然后这个是我做的，等老师过几天分享他的之后我会把老师做得好的地方过来更新的。2.正文作业背景及要求还是之前的数据分析与挖掘实战里面的案例，得到的数据集是图片，然后我们需要进行提取图片的特征颜色矩然后建模，大概的流程和操作方法见下图。基本流程图像...

文章目录前言正文首先来看看这次的问题情况一：有人情味的理想状态情况二：更现实的情况情况三：负债者也会努力用数据分析的流程去看待这次作业总结前言随着学校网课的开始，这个博客其实是记录一下我的第一次作业，不过得到的结论还是有点意思的。我也不知道我最近干嘛天天更新，其实是今年这个形式我还在犹豫到底考不考研，我知道这个时候肯定有人会说现在还在犹豫已经是废了，我都一轮复习完了，题目刷了几遍……之类的，我...

文章目录起因一步步实现方法一方法二代码结果最后起因作为一个B站的忠实粉丝，每天睡前和起床刷一下视频那是必须的。不过一般我都是在手机上刷，昨天用电脑刷的时候本来想下载一个视频，但是发现网页居然没有app的缓存功能，所以无奈只能自己动手写一个来下载视频了。（本来昨晚写完，辛辛苦苦还录了视频给B站投稿的，结果今天说内容违规无奈）一步步实现方法一这是我看的视频的页面，然后F12，去找视频网址...

文章目录前言变开心结果前言昨天又是一场家庭大战，我实在想不明白为什么我和家长会有这么大的矛盾，然后想想未来的我又会怎么样呢？浏览了一下几个大厂心仪职位的招聘情况，大概知道了需要掌握什么知识，学习什么技术，但是首先今年还是要先准备考研，这是让我从愤怒中冷静下来的第一步。然后开始做梦想着未来，一两个月后也许我们战胜了病毒，重新回到了工作学习中；一年后，也许我能成功上岸进入新的大学继续学习；十年后，...

最近的这个情况大家都很清楚，本来好好的春节，一个可以和同学出去happy的假期只能老老实实当一个肥宅，还是一直肥的那种！！！每天写点代码，追追剧，看看考研复习，另外就是刷B站。这不，今天下午刷到毕导又来教我们二年级的知识。建议大家都先去看看链接奉上重点来了一开始映入我们眼帘的是他那帅气的脸庞，随着进度条的蠕动，出现的数学公式和各种病毒传播模型使我不禁思索，我真的是大学生吗？大三学过这玩意？...

无论是数据分析还是写论文报告，我们都离不开数据可视化这一步，但是平时简单的图形又显得单调乏味，所以准备写一篇博客把几种常用的可视化图放上，以后使用的时候套模板借鉴就好2.代码+可视化图形首先是一些最基本需要导入的库，另外的会在不同的代码中另外添加import pandas as pdimport numpy as npimport matplotlibimport matplotlib...

刷小视频，发现有人利用验证码平台发骚扰短信，还挺厉害，然后我就打开了网页去试试。其实技术不难，主要就是post提交表单然后发送手机验证码进行骚扰。这个就是点验证码得到的信息，所以我们能通过这个得到key和验证码图片。通过这个我们可以把验证码保存，然后每次看着图片输入验证码，这样进行一次次的发骚扰短信但是这样也太麻烦了吧，完全是弱智行为。所以我想能不能让验证码能自动识别，首先想到的是py...

正好今天有个任务又是做爬虫的，那就接着昨天的劲头继续讲一下爬虫任务：基本上任务就是爬取豆瓣TOP250图书的信息，写入文件并且把图片下载下来爬虫分析可以看到就在每页就可以得到我们所有需要的信息，不用再进去详情页爬取了。然后就是翻页问题每一页的url:https://book.douban.com/top250?start=（页数-1）*25写入文件就用csv就好解析就用x...

今天正好爬虫实验需要用scrapy框架简单爬一个网站的所有新闻信息讲一下实现本来很久之前就想写一个讲scrapy框架使用的博客，但是平时写的爬虫都不太需要用到框架，所以也就一直搁下来，正好今天讲一下。首先两个最重要的命令：1.创建scrapy爬虫项目：scrapy startproject +名字2.创建spider:scrapy genspider +名字然后就会建立一个下面这样...

因为国家领导人的讲话，区块链这个技术变得火热起来，去中心化好像成了潮流。还是深夜日常睡前刷B站，看看动漫或者科技up主的动态，或者是一些科学的介绍，突然刷到up主落拓一系列关于区块链的视频，听完真的对区块链有了一个了解，所以打算跟着大佬用自己喜欢的语言也实现一个简单的区块链。视频链接点这里我觉得即使不是专门研究这方面的，但是对一个很热的话题技术还是得有一定的了解，总之一句话多学点总是没坏处...

为什么要写这个，主要还是想记录一下这个学期爬虫的期末课设一开始看到这个头是大的，不过还好网上资源丰富只要一点点挖掘，总能找到对你有帮助的。爬虫部分首先打开新浪首页，可以看到href后面的就是我们需要的url构造也简单，就是类别加在了sina.com的前面。我的想法就是通过这些子链接打开对应网页再对子网页进行爬取链接，反正正则匹配就好，把所有带html、https、http……这些连接全...

最近要学的太多，还有一堆期末大作业等着做，实在是脑阔疼。好不容易闲了一点，用networkx做个关系图玩一下思路爬取微博关注列表，然后再去遍历关注列表，得到每个用户的信息，以及他们的关注，这样用户关系就能丰富起来，画的图也就更复杂代码import requestsimport reimport jsonimport networkx as nximport matplotlib.p...

今天室友说想去看电影，听说少年的你口碑还不错，结果刚准备买票发现场场爆满，这部电影真的有这么好看吗？或者更多是因为粉丝效应呢。于是决定爬取短评看看大家怎么评价开始写爬虫首先这是目标网页，然后为了简单决定用最快的提取办法，我一直觉得爬虫不一定需要多复杂，往往简单的几行代码就能完成我们的需求。决定用requests爬取10页，然后正则提取，数据存到csv中。直接上代码import requ...

今天是属于我们程序猿的节日，所以必须点做点什么作为送给自己的礼物。目标：找到好看的小姐姐（爬点小姐姐的美图，留着自己欣赏，嘻嘻嘻）目标网站：知乎先上个成果图最近看到一个感兴趣的话题确实里面的小姐姐都很好看，而且都是经过别人的挑选才贴上去的哦，质量很高当时翻到这张，我心动了，于是决定把这些图片想办法全部爬下来按下F12，熟悉的找到api，真的迫不及待了找到了url构造的规则，...

先聊聊日常最近在学flask web开发这一块，然后加上java和算法，着实脑阔有点疼。学不下去的时候就去刷刷视频，看到有人在讲一个16年kaggle上的竞赛，关于移动用户人口统计，不过视频上没怎么细讲，可我的兴趣就却勾起来了，立马跑下床打开kaggle看了一下这个竞赛的内容，数据集主要是年龄，性别，用户的地理位置（经纬度），用户的手机品牌，用户的id等等，数据集还是比较大的，一共有280多M吧...

背景今天老师居然布置个实验让我们做个排序算法的可视化出来，给了任务要求和参考代码链接github链接为https://github.com/ZQPei/Sorting_Visualization进去大致看了一下，算法应该都不难，能写出来。可视化它用的是pygame和cv。然后我也查了一下资料，发现我们python最熟悉的可视化库matplotlib里面的animation模块也能很好的实现...