前网易架构师-高司机
技术很烂,电子书《让你不再害怕指针》作者, 先后在IBM的Platform Computing,淘米网,网易搬砖,提供免费付费服务器架构设计,服务器疑难问题解决和优化方案,解决复杂的网络问题,提供深度学习相关数据集,商务合作+v(gao_ke104)。
展开
-
Keras 与 Tensorflow:深层次探讨哪种机器学习框架最适合你?
最初,Keras 被设计为一个独立的神经网络库,支持多个后端,包括 TensorFlow、Theano 和 CNTK。) 的一部分,提供了一个简单的高级 API,可能会稍微降低复杂任务的性能。然而,它的灵活性、控制力以及对深度学习原理的更深入理解对于专注的学习者来说可能是有益的。Keras 模型开发的灵活性加上对多个后端的支持,使 Keras 成为适用于各种应用的多功能工具,特别是在自然语言处理和更简单形式的图像和视频分析方面。Keras 和 TensorFlow 提供用于深度学习模型开发的开源库。原创 2024-04-15 00:15:00 · 23 阅读 · 4 评论 -
Keras 与 PyTorch:深层次探讨哪种机器学习框架最适合你?
但是,为了在 PyTorch 中集成类似 Keras 的功能,你可以探索 PyTorch Lightning 等高级接口,它简化了 PyTorch 代码,以实现更简单的模型开发。Kanerika 在 Keras 和 PyTorch 等 AI/ML 框架方面拥有丰富的专业知识,再加上全面的数据管理和强大的分析能力,使其在美国成为领先的 AI/ML 实施合作伙伴。想象一下你最喜欢的流媒体平台上的个性化推荐、保护你的金融交易的欺诈检测系统或优化你的业务运营的预测性维护 - 这些只是机器学习变革潜力的一瞥。原创 2024-04-12 00:15:00 · 18 阅读 · 0 评论 -
AutoTest 框架分析OneFlow框架的算子对齐任务
以百度的深度学习框架PaddlePaddle为例,一般的做法是调用其他标准库(例如调用cudnn的卷积验证卷积算子的正确性,调用scipy的erf验证erf算子的正确性)或者直接使用Numpy模拟的计算结果(例如,使用Numpy进行模拟来验证全算子的正确性)。PyTorch还硬编码了一些测试用例,即将固定输入用例的标准答案与算子计算出的结果进行比较,分析算子的正确性。然而,对于给定的输入,它将分别使用OneFlow和PyTorch运行,记录运行过程中获得的每个张量并记录相应的梯度张量的值。原创 2024-04-11 00:15:00 · 29 阅读 · 0 评论 -
深度学习框架中张量的执行过程
本文重点介绍深度学习框架中张量执行背后发生的情况。以操作符oneflow.relu为例,介绍执行该操作符需要依赖的Interpreter和VM机制。希望本文对您对深度学习框架的系统设计有所启发。在上面的代码中,输入x被送入算子relu,并打印结果。一切看起来简单而正常。但如果有人问你是否清楚这背后发生了什么以及relu GPU何时调用对应的Cuda Kernel,你可能就不是那么清楚了。我们习惯于直接使用深度学习框架,不会多思考,因此可能对其背后的原理理解不深。然而在这篇文章中,我将尝试解决这个问题。原创 2024-04-10 09:59:22 · 53 阅读 · 0 评论 -
集成 LlamaIndex 和 Qdrant 相似性搜索以进行患者记录检索
介绍由于医疗技术、数字健康记录(EHR)和可穿戴健康设备的进步,医疗领域目前正在经历数据的显着激增。有效管理和分析这些复杂多样的数据的能力对于提供定制医疗保健、推进医学研究和改善患者健康结果至关重要。矢量数据库是专门为高效处理和存储多维数据而定制的,作为一系列医疗保健用途的有效工具而得到认可。例如,目前,医疗专业人员很少实时利用过去的患者记录数据,尽管它们是信息宝库并且可以帮助诊断。如果我们能够构建一个系统,让医生、护士和护理人员仅使用自然语言输入即可快速访问过去的患者记录,结果会怎样?原创 2024-04-10 00:30:00 · 30 阅读 · 1 评论 -
如何将 PyTorch 模型移植到 Tensorflow-第 1 部分
然后,构建两个python脚本,一个用于pytorch推理(这里我称之为pytorch_inference.py),另一个用于tensorflow推理(我称之为tensorflow_inference.py)。使用两个.npy(torch_model_name.npy和tf_model_name.npy)是为了检查上述函数的整体参数名称。,并将两个框架的模型重命名为 model_partial(这里有 Pytorch 和 Tensorflow)。接下来,你必须了解模型中的操作类型并比较它们的输出和用法。翻译 2024-04-08 09:49:42 · 22 阅读 · 1 评论 -
NIST数据集下载地址整理(订阅专栏可免费获取所有资源)
本文提供以上NIST数据集的下载连接(个人的百度网盘里)原创 2024-03-27 10:04:42 · 5498 阅读 · 0 评论 -
RWTH-PHOENIX Weather数据集模型说明和下载
RWTH-PHOENIX Weather 2014 T数据集说明:德国公共电视台PHOENIX在三年内(2009 年至 2011 年) 录制了配有手语翻译的每日新闻和天气预报节目,并使用注释符号转录了 386 个版本的天气预报。此外,我们使用自动语音识别和手动清理来转录原始德语语音。因此,该语料库允许训练从手语视频输入到口语的端到端手语翻译系统。本文将简要说明这个库的用法和提供快速下载地址链接。原创 2024-03-26 12:03:00 · 97 阅读 · 0 评论 -
AI学习笔记— 机器学习的种类
AI时代已经来临。我们除了学习AI领域常用的Python语言外,还可以做什么?这是「AI学习笔记」系列想要探讨的议题。包括AI是什么?AI可以做什么?以及AI未来的发展该与如何应用AI等问题。笔者个人的愿望是要在今年(虽然目前Q1)与明年好好的学习并理解AI领域相关的知识。笔者并非所谓的理工男,在学习的过程中透过阅读相关书籍、参加线上课程,并且加上实作等等方式来学习。期间并非一帆风顺。借此将这段时间学习的心得做纪录,希望对其他所谓的「文科生」,却想要学习AI相关知识的朋友有所帮助。原创 2024-03-27 01:30:00 · 37 阅读 · 0 评论 -
机器学习:处理jira工单的分类问题
如何根据jira工单的category、reporter自动找到处理它的组呢?这是一个利用机器学习中knn算法的小实践.机器学习是一种技术,它的目的是给机器学习能力,让它们可以根据数据自己做决定,所以对于训练机器掌握这种学习能力,有两种学习类型 ,一是监督学习,二是非监督学习。监督学习是我们引导机器去学习,我们希望机器可以按照我们教他的模式来理解问题。而非监督学习则相反,我们对数据不了解,我们希望借助机器从其中发现一些模式。原创 2024-03-25 16:17:18 · 214 阅读 · 0 评论 -
机器学习的开发经验和实践总结
首先,网站后端的资料库是建立在Microsoft SQL Server 上,所以要捞这部分的资料就要从Production 的SQL Server 去捞资料,接着再用Web Based,或是connector 从资料库捞资料,最后,再用Python 或是其他语言输出到Kaggle Data Set,可以说是非常麻烦。做分析在商业上的成效非常显著,但第一线的伙伴通常不是没有资料,就是没有分析的技能,因此,你只要善用分析的技能将手上的资料,做一个非常简单的分析,提供给做决策、产品的人参考,就能带来很棒的成效。原创 2024-03-26 00:30:00 · 41 阅读 · 0 评论 -
什么是机器学习?
正如我们期望公司拥有一个可在我们的移动设备或应用程序上运行的网站一样,我们的技术将变得个性化、富有洞察力和自我纠正的这一天很快就会到来。然而,随着数据量超出了人类理解数据和手动编写规则的能力,我们将越来越多地转向可以从数据中学习的自动化系统,更重要的是,可以从数据中。当我们使用机器学习使现有的人工任务比以前更好、更快或更容易时,我们也可以进一步展望未来,届时机器学习可以帮助我们完成我们自己永远无法完成的任务。看起来它不会很快放缓。数据是解锁机器学习的关键,就像机器学习是解锁隐藏在数据中的洞察力的关键一样。原创 2024-03-14 14:58:50 · 186 阅读 · 0 评论 -
卷积神经网络(Convolutional Neural Network, CNN)在python上面的实现
这将使我们提供一个有用的比较点,以对比上周在这个任务上使用的而且,对于这个任务来说,一个小型网络就足够了,这在我们希望在本地硬件上运行实验时尤为重要,因为可能没有 GPU 可用。CNN的优势在于能够有效地捕捉图像中的空间关系,并提取出具有独特的特征。相反,我们将定义一个高效运行的小型、简单的形状神经网络(CNN),可以更有效地在我们的本地硬体上运行,并在处理MNIST问题时依然表现出色。然而,对于梯度神经网络(CNN)的输入,我们通常保持原始图像的尺寸完整,因为它们是稀疏的相邻的像素区域提取特征。翻译 2024-03-11 10:09:37 · 25 阅读 · 0 评论 -
浅谈神经网络的正则化技术
神经网络的正则化技术神经网络的正则化技术是一组用于减少过度拟合(overfitting)的方法,其中过度拟合是指模型在训练集上表现很好,但在测试集上表现不佳的情况。这些技术有助于提高模型的泛化能力,使其在未见过的数据上表现更好。几种常见的神经网络正则化技术Dropout:Dropout 是一种在训练过程中随机丢弃神经元的技术。它通常应用在全连接层或卷积层之间,以减少神经网络的过度拟合。通过随机地将某些神经元设置为零,dropout 可以阻止神经元之间的过度依赖,从而提高模型的泛化能力。原创 2024-03-11 09:52:53 · 94 阅读 · 0 评论 -
如何使用 PyTorch 训练自定义关键点检测模型
默认情况下,PyTorch 提供了一个 Keypoint RCNN 模型,该模型经过预先训练,可以检测人体的 17 个关键点(鼻子、眼睛、耳朵、肩膀、肘部、手腕、臀部、膝盖和脚踝)。本质上,NMS 留下置信度分数最高的框(最佳候选框),并删除与最佳候选框部分重叠的其他框。但是,如果我们想要评估一组自定义关键点(在我们的例子中只有 2 个关键点),我们需要更改该脚本中预定义的系数数组。因此,我们本质上是“创建新图像”,这些图像在某些方面与原始图像不同,但仍然非常适合训练我们的模型。这意味着模型训练得很好。翻译 2024-03-07 11:38:44 · 38 阅读 · 0 评论 -
PyTorch 与 TensorFlow选择哪个作为机器学习的学习库?
PyTorch 计算图的动态特性在模型开发和调试过程中非常有利,因为我们可以在运行时打印、修改或分析计算图。数据集被加载、归一化,并用于训练一个简单的神经网络,该神经网络具有扁平输入层、具有 ReLU 激活、dropout 正则化的隐藏层以及具有 10 个类别的 softmax 激活的输出层(数字 0 –9). 该模型在。张量可以有各种等级,例如标量、向量、矩阵或高维数组,是 TensorFlow 中的基本构建块。作为一个动态且多功能的深度学习库,PyTorch 支持满足各种任务的各种机器学习算法。翻译 2024-03-07 11:13:47 · 31 阅读 · 0 评论 -
用通用分类器处理跨模态情感分析:整合文字、图片和表情符号的多模态数据
总的来说,本研究的结果提供了一个实用的视角,说明了在多模态情感分析领域中,不同类型的分类器也能够取得令人满意的效果。值得注意的是,整体的模型性能在精确度、召回率和F1分数上都达到了相对合理的水平,显示Xgboost在处理多模态情感分析任务上具有潜力。总的来说,这段代码的目的是将不同类型的特征组合成一个用于模型训练和测试的特征集,同时对多类别标签进行了必要的处理。涉及到特征融合(Feature Fusion)的过程,其主要功能是将不同类型的特征(图像特征和文本特征)结合在一起,以用于模型的训练和测试。翻译 2024-03-06 14:36:36 · 23 阅读 · 0 评论 -
深度学习的数据集下载地址合集
数据集的文件结构如下所示,包含两个不同的文件夹:Original 和 Ground Truth,分别对应图像和息肉的标注。Kvasir-SEG是一个针对结肠息肉像素级分割的内窥镜数据集,举办过MediaEval 2020的比赛。中科大csl500数据集 (已经转化为mat文件) 数据集使用的是:中国科学技术大学提供的500-CSL(500类中文手语单词数据集)http://home.ustc.edu.cn/~pjh/openresources/cslr-dataset-2015/index.html;原创 2024-03-06 11:26:18 · 79 阅读 · 0 评论 -
机器学习入门
从数学上讲,我们可以将转换后的数据视为值H1,H2这是我们通过将具有不同参数的分隔符应用于原始数据而得到的。在这里我们可以看到所有的 X 点都在右上角,所有的 O 点都在左下角。模型可以采取多种不同的形式,这是另一个具有复合形式的模型。一旦我们决定了要使用的形状,我们就需要一种在该类的模型之间移动的方法。正如我们所指出的,该模型具有较高的损失,我们希望考虑如何“调整参数”以找到更好的模型。在 Minitorch 的第一个模块中,我们将了解如何有效地计算小问题的方向,然后将其扩展到更大的模型。翻译 2024-03-05 18:54:52 · 27 阅读 · 0 评论 -
浅谈神经网络的正则化技术
通过随机地将某些神经元设置为零,dropout 可以阻止神经元之间的过度依赖,从而提高模型的泛化能力。神经网络的正则化技术是一组用于减少过度拟合(overfitting)的方法,其中过度拟合是指模型在训练集上表现很好,但在测试集上表现不佳的情况。:Batch Normalization 是通过对每一个mini-batch 的输入进行归一化,并对其进行线性变换和平移,来减少内部协变量偏移的技术。:早停止是一种在训练过程中监控模型在验证集上的性能,并在模型性能达到最佳时停止训练的技术。原创 2024-03-06 00:15:00 · 42 阅读 · 0 评论 -
什么是机器学习?看完这篇秒懂!
人工智能( Artificial IntelligenceAI) 顾名思义就是要如何有智慧。简单来说人工智慧主要是在研究,如何使用电脑的功能,来做一些本来必须由人类执行才能完成的工作;简单的说,就是藉由电脑来执行人类智慧的过程,机器在经过程序设计之后,能表现出与人类类似的智慧深度学习是什么?深度学习(Deep LearningDL)可以这样被定义:「一种实现机器学习的技术。这样的DL技术被称为深度神经网络(deep neural networks — DNNs)。神经网路只是一个建构函数的方式。原创 2024-03-05 11:35:42 · 38 阅读 · 0 评论 -
PyTorch深度学习工具箱整理总结
不像 TensorFlow 中充斥着session、graph、operation、name_scope、variable、tensor、layer等全新的概念,PyTorch 的设计遵循tensor→variable(autograd)→nn.Module 三个由低到高的抽象层次,分别代表高维数组(张量)、自动求导(变量)和神经网络(层/模块),而且这三个抽象之间联系紧密,可以同时进行修改和操作。PyTorch 提供了完整的文档,循序渐进的指南,作者亲自维护的论坛,供用户交流和求教问题。原创 2024-02-28 10:23:53 · 37 阅读 · 0 评论 -
手部关键点检测数据集
、、卡内基·梅隆大学手部数据集。翻译 2024-02-27 15:22:44 · 43 阅读 · 0 评论 -
探索PyTorch的关键组件之TorchVision
在本文中,我们将深入研究 TorchVision 的世界,探索它的特性、应用以及在计算机视觉领域的意义。TorchVision 作为 PyTorch 的扩展,专门专注于计算机视觉任务,提供丰富的预训练模型、数据集和实用函数来简化开发和实验过程。它结合了预先训练的模型、多功能数据集和强大的数据转换工具,使研究人员和开发人员能够为各种应用创建最先进的计算机视觉系统。随着计算机视觉在各行业中的重要性不断增强,TorchVision 仍然是宝贵的资源,可促进该领域的创新和进步。TorchVision的应用。翻译 2024-02-26 18:10:59 · 25 阅读 · 0 评论 -
分段息肉数据库Kvasir-SEG介绍和下载
Kvasir-SEG 是胃肠道息肉图像和相应分割掩模的开放访问数据集,由医生手动注释,然后由经验丰富的胃肠病学家验证。 翻译过来是逐像素图像分割,它是医学图像分析中一项要求很高的任务。很难找到具有相应分割掩模的带注释的医学图像。在这里,我们介绍 Kvasir-SEG。它是胃肠道息肉图像和相应分割掩模的开放访问数据集,由经验丰富的胃肠病学家手动注释和验证。这项工作对于研究人员将来重现结果并比较他们的方法非常有价值。通过向 Kvasir 数据集添加分割掩模(迄今为止该数据集仅包含逐帧注释)原创 2024-01-29 14:51:27 · 144 阅读 · 1 评论 -
结肠镜检查数据集CVC-ClinicDB介绍和下载
CVC-ClinicDB是一个开放访问数据集,包含来自 31 个结肠镜检查序列的 612 张图像,分辨率为 384×288。它用于医学图像分割,特别是结肠镜检查视频中的息肉检测。这些帧包含几个息肉的例子。该基本事实由与图像中息肉覆盖的区域相对应的掩模组成,如图 1 所示。CVC-ClinicDB 是 MICCAI 2015 结肠镜检查视频自动息肉检测挑战赛训练阶段使用的官方数据库。CVC-ClinicDB 数据库内容示例。第一行显示原始图像,而第二行显示相应的地面实况。原创 2024-01-29 14:42:11 · 316 阅读 · 0 评论 -
ACE 2005,LDC2006T06数据集获取
ACE 2005数据集是评估七种实体类型:设施(FAC),地缘政治实体(GPE),位置(LOC),组织(ORG),人员(PER),车辆(VEH)和武器(WEA).目前暂未发现任何一个训练集 (Train) /开发集 (dev) /测试集 (test) 的标准划分规范,较为常见的方式是8:1:1随机划分 (评估数据由Linguistic Data Consortium (LDC)发布.原创 2023-11-28 11:56:34 · 672 阅读 · 9 评论 -
pip安装PIL模块失败 No matching distribution found for PIL
按照chatgpt的垃圾回答,试了好几个方案都不行,我最终还是看了github上的一些解决方案,找到了思路。原创 2023-11-27 14:46:55 · 532 阅读 · 0 评论 -
pip安装tkinter模块失败 No matching distribution found for tkinter
我想使用Python创建一个简单的桌面应用程序, 这个应用程序依赖于。然而,当我尝试安装过程时,出现了错误。我用谷歌搜索并尝试了其他方法都失败了。如果出现下面的弹窗就OK了。原创 2023-11-23 16:22:28 · 387 阅读 · 0 评论 -
新手必看!ChatGPT常见问题总整理,你遇到了几个?
目前的ChatGPT是无法连网的,也就是说他没有能力读取网址后将里面的内容做摘要。不过由于很多人在示范ChatGPT能够连网,下面就用实际示例跟大家说明一下吧。「请你读取这个网址:https://medium.com/dean-lin/靠-chatgpt-我一个月写完一本书-全台第一本-chatgpt-应用解析专书-56334fbb6bc8,并做出内容摘要」水能载舟,亦能覆舟。原本就已经信息爆发的世代,随着AI的发展,又再爆发了一次。原创 2023-04-24 14:08:31 · 1120 阅读 · 0 评论 -
【Auto-GPT】会自主完成任务的 AI!安整的安装&使用教学
ChatGPT 需要我们不停的输入指令,引导 AI 的回答方向才能得到期待的结果;而 Auto-GPT 之所以爆红,就是因为他能够“自我反思”,只要给他任务,他就会不停地自问自答,不需要人为插手。听起来是不是棒呆了?就让笔者透过这篇文章带大家了解如何安装 Auto-GPT,以及如何使用它来帮我们达成工作吧!大纲▋手把手带你安装 Auto-GPT▋取得 OpenAI 的 API Key,并将它将放入 Auto-GPT 环境档▋让 Auto-GPT 跑起来!基础操作说明。原创 2023-04-24 12:10:26 · 553 阅读 · 0 评论 -
【AgentGPT】网页版的 Auto-GPT,让 AI 成为我们的生产力工具
在上一篇文章笔者分享了 Auto-GPT 的安装&使用,不过因为操作相对繁琐,可能会导致许多想使用工具的人卡在环境的设定上。取得 Key 后,在 Settings 的 Key 栏位贴上即可,另外可以设定几个参数,第一个是 Model。如果想产出完整的内容,需要在左右下“Settings”设定自己的“OpenAI API key”。Temp:回答的方式,数值越大越充满创意,数值越低则更专注稳定,可设定在 0~1 之间。如果觉得答案满意了,就点击“Stop agent”,否则他会执行到 Loop 结束。原创 2023-04-24 12:08:53 · 3280 阅读 · 0 评论 -
抖音快手小视频推荐算法之--协同过滤算法剖析
有人说抖音摧毁了中国的年轻人,也有人说抖音改变了自己的生活形态,还有人说抖音让自己的生活过的更加有意义……一千个人眼中,有一千个哈姆雷特,各人有各个行使自己话语的权力,我们无从争辩。对于做自媒体的同仁们来说抖音就是粉丝变现的另外一个渠道,那抖音具体的算法是什么样的呢? 抖音的流量分配是去中心化的。在微博和公众号上,如果你没有粉丝的话,你发的内容就不会有人看,但是抖音就不一样,你可以完全没有粉丝。所有的抖音用户,你拍的任何一个视频无论质量好坏,发布了之后一定会有播放量,从几十到上千都...原创 2020-11-18 09:35:17 · 3851 阅读 · 2 评论 -
ncnn网络框架使用指南
下面以在ncnn上实现caffe网络模型为例,和大家分享下ncnn这个牛叉的网络框架的使用指南。准备caffe网络和模型caffe 的网络和模型通常是搞深度学习的研究者训练出来的,一般来说训练完会有train.prototxtdeploy.prototxtsnapshot_10000.caffemodel部署的时候只需要 TEST 过程,所以有 deploy.prototxt 和 caffemodel 就足够了alexnet 的 deploy.prototxt 可以在这里下载ht.原创 2020-11-13 10:22:58 · 2587 阅读 · 0 评论 -
Caffe将图像数据转换成leveldb/lmdb
Caffe中convert_imageset projrct将图像数据转换成Caffe能读取的数据格式leveldb/lmdb -gray=true //whether read gray image-shuffle=true //whether mix order-resize_height=28 -resize_...原创 2018-10-08 16:45:47 · 502 阅读 · 0 评论 -
caffe网络结构图绘制
绘制网络图通常有两种方法:一种是利用python自带的draw_net.py,首先安装两个库:sudo apt-get install graphvizsudo pip install pydot接下来就可以用python自带的draw_net.py文件来绘制网络图了。draw_net.py执行时带三个参数:一、网络模型的prototxt文件;二、保存的图片路径和名字;...原创 2018-10-08 16:14:51 · 440 阅读 · 0 评论 -
caffe各层参数详解
在prototxt文件中,层都是用layer{}的结构表示,而里面包含的层的参数可以在caffe.proto文件中找到,比如说Data类型的结构由message DataParameter所定义,Convolution类型的结构由message ConvolutionParameter所定义。具体说明下:name表示该层的名称 type表示该层的类型,如Data或者Convolution类...原创 2018-10-08 16:13:18 · 2287 阅读 · 0 评论 -
Caffe安装的坑整理
怎么说了,入了深度学习的坑,就要踩一踩才算你入门,这里我整理了我在安装学习caffe自己遇到的坑:1.Caffe-GPU编译问题:nvcc fatal : Unsupported gpu architecture 'compute_20'仔细查看了一下 Makefile.config 中 CUDA_ARCH 设置未按规定设置:# CUDA architecture settin...原创 2018-09-28 15:33:03 · 2834 阅读 · 0 评论 -
理解Caffe的网络模型
目录1. 初见LeNet原始模型 2. Caffe LeNet的网络结构 3. 逐层理解Caffe LeNet 3.1 Data Layer 3.2 Conv1 Layer 3.3 Pool1 Layer 3.4 Conv2 Layer 3.5 Pool2 Layer 3.6 Ip1 Layer 3.7 Relu1 Layer 3.8 Ip2 Layer ...转载 2018-10-08 17:01:01 · 612 阅读 · 0 评论 -
pytorch学习 训练一个分类器(五)
训练一个分类器就是这个, 你已经看到了如何定义神经网络, 计算损失并更新网络的权重.现在你可能会想,数据呢?一般来说, 当你不得不处理图像, 文本, 音频或者视频数据时, 你可以使用标准的 Python 包将数据加载到一个 numpy 数组中. 然后你可以将这个数组转换成一个 torch.*Tensor.对于图像, 会用到的包有 Pillow, OpenCV . 对于音频, ...转载 2018-09-29 14:53:36 · 1559 阅读 · 0 评论