自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(1237)
  • 资源 (4)
  • 收藏
  • 关注

转载 Apache Zeppelin:可能是开源届最好的Flink开发平台

Flink问:我有丰富的connector,但是用户每次都要把connector打包到uber jar里,或者copy到flink的lib下,但是这样会把各种connector jar混在一起,容易发生冲突,很难管理,有谁能提供一个干净点的方案?如果你是Flink的学习者或者爱好者,除了学习Flink本身之外,你是否在寻找一款Flink的开发部署工具。Flink问:Flink Job提交目前只能一个个提交,一个job跑完跑另外一个,有些用户想并行执行多个Flink Job,谁能帮我搞定这个需求?

2023-01-20 22:25:00 27

转载 Mysql CDC 多 Source 复用

我们可以看到在开启了 Source 复用功能之后,读相同 DB 实例的 Mysql CDC Source 会合并成一个 Source (如下图),可以有效的降低对 DB 的链接压力。分组合并功能示例如下,假如 source_1 、source_2、source_3、source_4是来自同一个 DB 实例的 Mysql CDC Source 表(此处省略 source 和 sink 表定义),我们可以用如下的参数来配置 source 复用功能。目前该功能不支持写入 kudu,开启该功能作业编译会报错。

2023-01-20 17:08:41 14

转载 flink 开发平台Dinky 构建 Flink CDC 整库入仓入湖

Dinky 定义了 CDCSOURCE 整库同步的语法,该语法和 CDAS 作用相似,可以直接自动构建一个整库入仓入湖的实时任务,并且对 source 进行了合并,不会产生额外的 Mysql 及网络压力,支持对任意 sink 的同步,如 kafka、doris、hudi、jdbc 等等。面对建立的数据库连接过多,Binlog 重复读取会造成源库的巨大压力,上文分享采用了 source 合并的优化,尝试合并同一作业中的 source,如果都是读的同一数据源,则会被合并成一个 source 节点。

2023-01-20 16:36:27 56

原创 多模太大模型清单收集

AI大一统:阿里达摩院发布多任务、多模态统一模型OFA。

2023-01-19 11:48:11 1134

转载 元学习Meta learning深入理解(全)

然后计算θ^和主任务的参数ϕ的差向量,作为更新ϕ 的方向。假设模型参数的 ϕ 和 θ 向量都是一维的,model pre-training的初衷是寻找一个从一开始就让所有任务的损失之和处于最小状态 ϕ ,它并不保证所有任务都能训练到最好的 θn^,如上图7所示, 即收敛到局部最优。假设有两个任务,Task1和Task2,通过训练任务1,得到任务1的损失函数 l1 ,通过训练任务2,得到任务2的损失函数 l2 ,然后将这两个任务的损失函数相加,得到整个训练任务的损失函数,即图4右上角的公式。

2023-01-18 15:33:01 21

转载 如何理解few-shot learning中的n-way k-shot?

作者:胖迪王来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。时间:NIPS 2016最近在读《Matching Networks for One Shot Learning》这篇文章,里面好多内容有些疑问,以下参考博客并结合自己的理解,可能有些地方存在问题,希望大家多多指正。每天学一点知识,你将变得更优秀哒。

2023-01-18 11:37:24 22

原创 MediaPipe介绍

https://blog.csdn.net/weixin_38346042/article/details/123399492

2023-01-17 15:20:46 10

转载 InfoGAN详细介绍及特征解耦图像生成

算法思想:将编码器和解码器分开,但是加一个判别器,将他们的输入和输出同时作为判别器的输入,然后区分是来自编码器还是解码器,如果无法分别来自哪个,就说明编码器的输入图片和解码器生成的图片很接近,编码器输出的z和解码器输入的z很接近,目的就达到了。如上图:实际情况中的特征是非常杂乱无章的,然后我们希望的特征关系是比较整齐明了的,具体哪一列表示什么很清晰,从而便于控制它。BiGAN就是双向GAN的意思,这里的判别器与上面介绍的判别器不一样,这里的判别器接收的是图像和编码,判别图像和编码是来自编码器还是解码器。

2023-01-16 21:46:59 9

原创 GAN“家族”又添新成员——EditGAN,不但能自己修图,还修得比你我都好

GAN包含了两个神经网络,生成器G(Generator)和鉴别器D(Discriminator),生成器的作用是生成图片,鉴别器则接收图片作为输入对象,随后对图像的真假进行辨别,输出1为真,输出0则为假。可以说,EditGAN是第一个GAN驱动的图像编辑框架,它能提供非常高精度的编辑,只需要很少带注释的训练数据(并且不依赖于外部分类器),运行实时交互,允许多个编辑的直接组合,并适用于真实嵌入、GAN生成图像,甚至是域外图像。当然,要实现这种有明确语义的编辑方式,除了依靠数学的力量,也可以借助语言的魔法。

2023-01-16 21:43:15 307

转载 Ambari HDP集群搭建全攻略

(就是一个开源的hadoop一键式安装服务)此外,Ambari能够安装安全的(基于Kerberos)Hadoop集群,以此实现了对Hadoop 安全的支持,提供了基于角色的用户认证、授权和审计功能,并为用户管理集成了LDAP和Active Directory。此外,Ambari能够安装安全的(基于Kerberos)Hadoop集群,以此实现了对Hadoop 安全的支持,提供了基于角色的用户认证、授权和审计功能,并为用户管理集成了LDAP和Active Directory。(说白了就是可以偷好多懒)

2023-01-12 10:32:24 20

转载 【人工智能专题】基于 GAN 的艺术风格化——图像风格迁移

原文:https://mp.weixin.qq.com/s?__biz=MzAxMzEwMDM2Mg==&mid=2652847175&idx=3&sn=51dcb41bc5cac7dfe5e36b75113cf5f2&chksm=804c2862b73ba174fdb42075db1676cedd071e81230478f9262b81499b947f470ded7734afa9&scene=27AI学习分享活动是我协会举办的2022浙江程序员节系列活动之一,分享内容包括程序员的人工智能数字化进阶、趣味A

2023-01-11 22:34:59 53

转载 [SPARK][SQL] 面试问题之Spark AQE新特性

学习过 Shuffle 的工作原理之后,我们知道,每个 Map Task 都会输出以 data 为后缀的数据文件,还有以 index 为结尾的索引文件,这些文件统称为中间文件。如上图所示,N个task用于处理表A的偏斜分区0,每个task只读取表A的少数mapper的shuffle输出,并与表B的分区0进行join,将这N个task的结果合并得到最终的join结果. 为了实现这一点,我们更新了 shuffle read API 以允许仅从几个映射器而不是全部读取分区。了解一个功能,先来了解其面临的问题。

2023-01-11 15:13:57 16

转载 语义分割丨DeepLab系列总结「v1、v2、v3、v3+」

(1)是由于DCNN中的重复池化和下采样降低了空间分辨率,一种方法是采用转置卷积(deconvolutional layer),但是需要额外的空间和计算量。首先经过采用空洞卷积的DCNN如VGG-16或ResNet101得到粗略的分割结果,然后通过双线性插值将feature map恢复成原图分辨率,最后用全连接的CRF来精细化分割结果。为了解决该问题,DeepLab引入。花了点时间梳理了一下DeepLab系列的工作,主要关注每篇工作的背景和贡献,理清它们之间的联系,而实验和部分细节并没有过多介绍,请见谅。

2023-01-11 09:24:26 25

原创 数字人视频课程

数字人音频驱动嘴唇。

2023-01-09 22:41:46 14

转载 深度掌握模型剪枝+模型量化+知识蒸馏3大核心模型压缩技术理论

神经网络与深度学习理论,深度学习模型设计与优化,计算机视觉的基础领域,AI美学,2D与3D人脸算法,生成对抗网络GAN等领域。另外:实践部分的内容也已经有部分更新,包括Distiller框架的介绍与使用,模型剪枝的实践,模型量化的实践,模型蒸馏的实践,本周正在继续完善充实实践部分,预计会超过8个小时,请大家拭目以待!模型压缩与优化是专门针对模型进行精简的技术,这是模型能够在各类嵌入式平台使用的关键技术,包括紧凑模型设计,模型剪枝,模型量化,模型蒸馏,自动化模型设计等内容。

2023-01-08 22:34:26 32

转载 Apache SeaTunnel 分布式数据集成平台

Spark、Flink 都是非常优秀并且流行的大数据计算框架,所以 1.x 版本选了 Spark,2.x 版本将架构设计的更具扩展性,用户可以选择 Spark 或 Flink 集群来做 Apache SeaTunnel 的计算层,当然架构扩展性的考虑也是为以后支持更多引擎准备,说不定已经有某个更先进的计算引擎在路上,也说不定 Apache SeaTunnel 社区自己会实现一个为数据同步量身打造的引擎。成熟稳定:经历大规模生产环境使用和海量数据的检验,具有高性能、海量数据的处理能力;

2023-01-06 22:08:08 39

转载 Keras中的顺序模型Sequential和函数式模型Model

文章目录使用函数式模型构建复杂网络1、加宽网络(输入、输出不变)1.1、完整代码:2、多个输入层2.2、完整代码3、多个输出层3.3 完整代码。

2023-01-06 11:01:15 25

原创 姿态估计开源项目汇总

为了在帧中匹配与同一个人相对应的姿势,还提供了一种称为Pose Flow的高效在线姿势跟踪器。它是第一个在PoseTrack Challenge数据集上达到60+ mAP(66.5 mAP)和50+ MOTA(58.3 MOTA)的开源在线姿势跟踪器。目的是为最流行的人体姿势数据库(例如,MPII人体姿势,LSP和FLIC)提供训练/推断/评估的接口,并为数据加载器提供各种数据增强选项。通过对所有动物的深度学习,对用户定义的特征进行无标记的姿势估计。Android和iOS平台的实时单人姿势估计。

2023-01-03 16:57:56 25

原创 yolo 视频课程收集

唐博士yolo v3视频学习、2、YOLOv5视频学习(白勇)

2023-01-03 12:56:13 79

转载 Yolov5算法解读

Yolov5算法解读_elkluh的博客-CSDN博客_yolov5模型解读

2023-01-02 22:46:56 20

转载 目标检测之Yolov3与Anchor-Free

作为工程项目来说,Yolo-v3的检测效果应该是相当不错的,这里我们不去讨论mAP、COCO数据集上的表现等刷分用的参数,就仅仅看它在实际应用中的performance,速度、精度都很令人满意。重要的是,Yolo-v3开源代码的使用极其简单,即便是看源码、根据自己的需求修改源码都很方便(主要是代码写得很清晰)。参考Tensorflow版本的项目,得到下图结果。特征提取:Yolo-v2 中使用了一个“透层”将 26*26 的特征图连接到 13*13 的特征图上,这有点类似于ResNet的残差思想;

2023-01-02 22:38:49 31

转载 Torch.cuda.empty_cache() 性能非常非常慢

当我在单个 GPU 上执行时,我遇到了的问题。这种缓慢的行为出现在被处理之后 - 也就是 GPU 已经快满了,需要回收它的内存来接受下一批的时候。在GPU 状态 - 性能(如预期)。我希望下面的代码 sn-p 和输出都能简明扼要地说明问题。(为了简洁,我已经从 sn-p 中删除了打印和时间测量)输出我是否遗漏了一些明显的东西,或者这是GPU 行为?我在进行复杂编码之前发布这个问题,在我的服务器上可用的几个 GPU 和 CPU 之间进行处理。提前致谢, 阿尔伯特。

2022-12-31 21:43:53 69

转载 PyTorch自定义CUDA算子教程与运行时间分

可以看出,因为第一次开始计时前没有同步线程,所以在GPU warm up调用api完毕后,第一次cuda kernel调用就开始了。注意它是异步的,调用完之后控制权立刻返回给CPU,所以之后计算时间的时候要格外小心,很容易只统计到调用的时间。可以看出,每执行一次(一个框)都经过了三个步骤:先是调用api(左上角蓝色框),然后执行kernel(下方蓝色框),最后线程同步(右上角黄色框)。接下来的代码就随心所欲了,这里简单写了一个测量运行时间,对比和torch速度的代码,这部分留着下一章节讲解。

2022-12-30 22:05:10 39

原创 3D相机获取点云信息的几种方法

所谓飞行时间法3D成像,是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。结合激光器的高度,激光扫描角度,就可以准确地计算出每一个地面光斑的三维坐标X,Y,Z,如图所示。点云里的每一个点包含了丰富的信息,包括三维坐标X,Y,Z、颜色、分类值、强度值、时间等等。解相位,也称为相位提取,主要包括相移法,傅里叶变换解相,卷积法解相。这些方法所提取的是相对相位,即相位主值,都是折叠相位,是被折叠在[-pi,pi]之间的,需要相位展开才能得到真实的相位。

2022-12-20 10:04:57 511

转载 HDFS inotify:Linux inotify机制在HDFS中的实现

在文件系统的使用中,在某些场合我们往往会有这样一个需求点:我们想对某个文件/目录进行事件监听,监听的事件包括在目标目录下新增文件了,又或者说是删除了什么文件等等.这其实是对目标文件目录数据的一个比较实时的监控.我们比较传统的方案是去做定期的全盘扫描,然后算出增量值与最新统计值.这种方式的优点是实现简单,但是缺点也很明显,就是太低效了.那么在目前现有的Linux操作系统中,是否有这样的一套event事件通知机制呢?前者实现起来不好把控,后者的读取方式会有数据延时的问题.

2022-12-18 15:42:59 33

转载 TensorRT详细入门指北,如果你还不了解TensorRT,过来看看吧!

大名鼎鼎的。

2022-12-12 15:11:44 82

转载 TensorFlow XLA 初探

1]XLA全称Accelerated Linear Algebra(加速线性代数),是在特定领域下的线性代数编译器。TensorFlow生态中包含许多的编译器和优化器,使得代码可以在不同的软硬件堆栈上运行。TensorFlow MLIR 的一些组件上图[2]是一个概览,其中XLA本质上是一种深度学习编译器,

2022-12-12 11:23:17 29

转载 Ubuntu+Yolov5+TensortRT加速部署

本文章向大家介绍Ubuntu+Yolov5+TensortRT加速部署,主要包括Ubuntu+Yolov5+TensortRT加速部署使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

2022-12-12 09:01:16 58

原创 TensorRT 高级用法

首先需要重载一个IPlugin的基类,生成自己的Plugin的实现,告诉GPU或TensorRT需要做什么操作,要构建的Plugin是什么样子,其实就是类似于开发一个应用软件的插件,需要在上面实现什么功能。但是由于现在深度学习技术发展日新月异,各种不同结构的自定义层(比如:STN)层出不穷,所以tensorRT是不可能全部支持当前存在的所有层的。基本上比较经典的层比如,卷积,反卷积,全连接,RNN,softmax等,在tensorRT中都是有对应的实现方式的,tensorRT是可以直接解析的。

2022-12-12 08:45:23 236

转载 YOLOv5s 目标检测算法Anchor box 的尺寸优化-之三

每个粒子的位置用 K ×2 的矩阵表示,每个聚类中心为宽 w高 h 的矩形框,jC 为某一类别的数据向量,jd 表示粒子与聚类中心的距离和,w 取 1,1 2c=c =2。如下图所示出现两个明显的拐点,考虑到更高召回率因此采用 K 值为 9 因此生成 9个 Anchor boxes 框,分别为(29x48),(32x84),(49x46),(50x103),(68x49),(90x83)(128x108),(165x179),(290x326)。形成胳膊肘这样的一个拐点是聚类性能较好的点。

2022-12-11 11:53:50 73

转载 TensorRT(二)TensorRT使用教程(Python版)

在这一步骤的主要目的是,根据onnx所描述的模型结构和权重数值和当前的软硬件环境生成对应的执行计划,并且序列化为xxx.engine文件持久化保存,这一步时间比较长,所以需要序列化执行文件,这样在推理阶段直接加载此文件构造出Engine。(说实话,英伟达在AI领域的布局已经基本完成了,从硬件到软件的生态几乎已经彻底完善了,按照当前的趋势,盲猜英伟达将会在不远的未来抛弃CPU和运行内存,因为数据从内存拷贝到显存貌似这部分时间开销挺大的)这一步主要是为了将深度学习模型的结构和参数导出来。

2022-12-10 11:45:55 36

原创 tensorflow利用for循环进行知识蒸馏训练遇到的内存爆炸问题(OOM)

最近在用tensorflow学习模型的知识蒸馏,自己基于cifar10数据集训练得到的teacher模型,在对3种不同参数量的student模型使用相同的alpha和temperature参数进行蒸馏之后,得到的实验结果均与论文结果相反(论文:Distilling the Knowledge in a Neural Network)与上面代码内容基本相同,只是将Thread换成Process,然后把需要的参数都传入Process的args中即可。,之后发现果然有效,很多无用的信息都不再输出。

2022-12-09 10:31:52 473

转载 机器学习之keras模型保存为pb文件

keras模型是依赖tensorflow框架的,在恢复模型之前还需要再定义一遍网络结构,这对于部署到生产环境来说非常不方便。而转换为pb文件,可以独立运行,任何语言都可以解析它,同时方便部署到tf serving上。本文提供以下两种转换方法。方法1(推荐):适用于tf2.0之后的版本,但是1.0版本生成的hdf5文件也可以用此方法转换,前提必须在tf2.0环境下运行 方法2:适用于tf2.0之前的版本————————————————版权声明:本文为CSDN博主「纳米时速」的原创文章,遵

2022-12-07 14:56:35 69

转载 深度学习模型部署-triton

链接:https://www.zhihu.com/question/517971355/answer/2721126560老潘用triton有两年多了,一直想写个教程给大家。顺便自己学习学习,拖了又拖,趁着这次换版本的机会,终于有机会了写了。triton作为一个NVIDIA开源的商用级别的服务框架,个人认为很好用而且很稳定,API接口的变化也不大,我从2020年的20.06切换到2022年的22.06,两个大版本切换,一些涉及到代码的工程变动很少,稍微修改修改就可以直接复用,很方便。本系列讲解重点是结合实际

2022-12-07 13:51:33 133

原创 2022 Google 开发者大会-视频及深度学习视频

2022 Google 开发者大会

2022-12-06 11:47:27 54

转载 点云数据如何快速生成三维模

在了解点云数据如何快速生成三维模型前,我们先来了解什么是点云数据,点云数据是怎么生成的。点云数据是指在一个三维坐标系统中的一组向量的集合,每一个点都包含有三维坐标,有些可能含有颜色信息或反射强度信息。颜色信息通常是通过相机获取彩色影像,然后将对应位置的像素的颜色信息赋予点云中对应的点。强度信息的获取是激光扫描仪接收装置采集到的回波强度,此强度信息与目标的表面材质、粗糙度、入射角方向,以及仪器的发射能量,激光波长有关。点云数据一般由3D扫描设备产生,例如三维激光扫描仪、扫描全站仪、激光雷达,立体摄像头,越渡时

2022-12-03 21:42:52 256

原创 大数据平台作业调度系统详解-理论篇

工作流调度系统做为大数据开发平台的核心组件,牵扯的周边系统众多,自身的业务逻辑也很复杂,根据目标定位的不同,场景复杂度和侧重点的不同,市面上存在众多的开源方案。但也正因为它的重要性和业务环境的高度复杂性,多数有开发能力的公司,还是会二次开发或者自研一套甚至多套系统来支撑自身的业务需求。

2022-12-02 09:24:19 259

转载 Python实例详解pdfplumber读取PDF写入Excel

PDF(Portable Document Format)是一种便携文档格式,便于跨操作系统传播文档。PDF文档遵循标准格式,因此存在很多可以操作PDF文档的工具,Python自然也不例外。其他几个 Python 库帮助用户从 PDF 中提取信息。专注PDF内容提取,例如文本(位置、字体及颜色等)和形状(矩形、直线、曲线),还有解析表格的功能。

2022-11-30 11:51:51 186

原创 【Java】 牛客网华为机试108题汇总

明明想在学校中请一些同学一起做一项问卷调查,为了实验的客观性,他先用计算机生成了N个1到1000之间的随机整数(N≤1000),明明想在学校中请一些同学一起做一项问卷调查,为了实验的客观性,他先用计算机生成了N个1到1000之间的随机整数(N≤1000),* 对于其中重复的数字,只保留一个,把其余相同的数去掉,不同的数对应着不同的学生的学号。对于其中重复的数字,只保留一个,把其余相同的数去掉,不同的数对应着不同的学生的学号。* 写出一个程序,接受一个十六进制的数,输出该数值的十进制表示。

2022-11-30 07:24:58 159

原创 快速掌握6大模型部署框架(Pytorch+NCNN+MNN+Tengine+TensorRT+微信小程序)

快速掌握6大模型部署框架(Pytorch+NCNN+MNN+Tengine+TensorRT+微信小程序)

2022-11-22 08:35:48 304

2007年下半年系统分析师下午试卷Ⅱ.doc

2007年下半年系统分析师下午试卷Ⅱ.doc

2007-11-21

2007年下半年系统分析师下午试卷Ⅰ.doc

2007年下半年系统分析师下午试卷Ⅰ.doc

2007-11-21

2007年下半年系统分析师上午试卷.doc

2007年下半年系统分析师上午试卷.doc

2007-11-21

2007年下半年系统分析师考试试题分析.doc

2007年下半年系统分析师考试试题分析.doc

2007-11-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除