DL
文章平均质量分 69
菜鸟的人工智能之路
菜鸟的AI进阶道路
展开
-
深度学习模型在移动设备的部署
传统部署方法 使用了深度学习技术的移动应用,通常都是直接依赖云服务器来完成DNN所有的计算操作,但这样做的缺点在于移动设备与云服务器之间的数据传输带来的代价并不小(表现在系统延迟时间和移动设备的电量消耗)。 对于所有使用深度学习技术来处理图像、视频、语音和文本数据的个人智能助手而言,目前工业界通常的做法是,利用云服务器上强大的GPU集群资源来完成应用程序的计算操作(以下简称为现有方法)。目前运行在移动设备上的个人智能助手(例如Siri、Google Now和Cortana等)都是采用这种做法。 我们会原创 2021-10-10 23:28:38 · 935 阅读 · 0 评论 -
量化 | Posting-training quantization
量化 训练后量化可以在改善 CPU 和硬件加速器延迟的同时缩减模型大小,且几乎不会降低模型准确率。 动态范围 / 全整数 / float16量化 Technique Benefits Hardware Dynamic range quantization 4x smaller, 2x-3x speedup CPU Full integer quantization 4x smaller, 3x+ speedup CPU, Edge TPU, Microcon原创 2021-10-10 20:48:38 · 302 阅读 · 0 评论 -
TensorFlow Lite
0 TFlite 基本概念 TFlite(TensorFlow Lite)是为了将深度学习模型部署在移动端和嵌入式设备的工具包,训练好的模型通过转化、部署和优化可以提升运算速度、减少内存和显存。简单说就是为了能在App上使用TF模型所做的转换。 TFlite的设计旨在各种设备上高效运行DL模型,高效的原因在于存储模型使用了FlatBuffer格式。 TensorFlow Lite 提供了转换 TensorFlow 模型,并在移动端(mobile)、嵌入式(embeded)和物联网(IoT)设备上运行原创 2021-10-10 20:41:28 · 1557 阅读 · 0 评论 -
Caffe | layer
目录 1 Acitivation / Neuron Layers ReLU / Rectified-Linear and Leaky-ReLU Layer PReLU Sigmoid 2 Utility Layers Flattern Slice Concat Eltwise 1 Acitivation / Neuron Layers 主要介绍激活层/神经元层包含的layer ReLU / Rectified-Linear and Leaky-ReLU Layer ReLU中通..原创 2021-10-09 23:36:27 · 155 阅读 · 0 评论 -
Caffe模型详细介绍
Caffe(Convolutional Architecture for Fast Feature Embedding),是一个高效的深度学习框架,底层核心语言是C++,它支持命令行、Python和Matlab接口,它既可以在CPU上运行也可以在GPU上运行,据文献显示目前部分科技公司在尝试将Caffe模型在NPU上运行,以提高系统处理效率。 Caffe的所有计算都有layer的形式表示,即接受数据,输出计算结果等。 Caffe框架 Model: models以Google Protocol Buff原创 2021-07-28 23:29:39 · 2982 阅读 · 0 评论