炼丹中遇到的一些BUG

最新推荐文章于 2024-08-14 22:29:49 发布
最新推荐文章于 2024-08-14 22:29:49 发布
阅读量797 收藏
点赞数
分类专栏： NLP 文章标签： 人工智能 机器学习 深度学习 神经网络 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Raki_J/article/details/121964192
版权
本文探讨了在使用numpy时遇到的问题，即无法处理string类型数据。解决方法是删除预处理数据中的string列，并解释了如何避免IndexError：维度超出范围。特别针对数据科学和编程中的常见问题进行讲解。
摘要由CSDN通过智能技术生成

在这里插入图片描述
问题原因：numpy不能处理string型数据

解决办法：把预处理好的数据中string列删除

在这里插入图片描述

IndexError: Dimension out of range (expected to be in range of [-1, 0], but got 1)

在这里插入图片描述

爱睡觉的Raki
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
炼丹的一些Tricks（慢慢总结版）
mingo_敏
05-02 871
本文地址： batch size 较小 一般情况下，我们在训练的时候， a.在训练时所有BN层要设置use_global_stats: false（也可以不写，caffe默认是false） b.在测试时所有BN层要设置use_global_stats: true 如果batch size较小，如为1，可以考虑在fine-tune的时候，将use_global_stats: true试试。 u...
目标检测模型炼丹的完整训练步骤，遇到问题，解决方案 2021-09-02
dream_home8407的博客
09-02 623
目标检测模型炼丹的完整训练步骤，遇到问题，解决方案 训练模块，第一步数据清洗，第二步整理标注数据，第三步调整模型的参数，第四步开始训练，第五步测试交付 炼丹的第一步，处理基础药材，将药材的杂质去掉， 1，修改图片后缀， 2，将模糊，亮度等有质量问题的图片，通过脚本清除掉， 3，数据自己再看一眼，不需要自己提纯的药物也清楚掉，不属于自己训练数据，或者数据特征不明显的坚决清楚掉 4，处理药材，剥壳去皮剪枝，去点重复的和旋转的图片， 炼丹第二步，将药材进行标记分类，所有药材按照重量比例划分好， 1，去除标签和图
关于炼丹，那些不为人知的细节
03-10 1093
  作者丨Fatescript来源丨https://zhuanlan.zhihu.com/p/450779978；仅做学术分享；序本文算是我工作一年多以来的一些想法和经验，最早发布在旷视研究院内部的论坛中，本着开放和分享的精神发布在我的知乎专栏中，如果想看干货的话可以直接跳过动机部分。另外，后续在这个专栏中，我会做一些关于原理和设计方面的一些分享，希望能给领域从业人员提供一些看待问题的不一样的视角。动机前段时间走在路上，一直在思考一个问题：我的时间开销很多都被拿去给别人解释一些在我看起来
炼丹笔记 : 调参技巧
qq_41656402的博客
06-10 201
调参技巧
关于炼丹，你是否知道这些细节？
qq_29462849的博客
01-19 346
作者丨Fatescript来源丨https://zhuanlan.zhihu.com/p/450779978编辑丨GiantPandaCV序本文算是我工作一年多以来的一些想法和经验，最早发...
炼丹总结
hesongzefairy的博客
07-16 239
一.Ubuntu系统 root权限打开文件夹 sudo nautilus 空文件夹删除及文件删除 sudo rmdir *** / sudo rm *** 文件复制（进入文件路径打开终端） sudo cp -r [files] [目的路径] 更新源 sudo apt-get update sudo apt-get upgrade 修改文件夹权限 sudo chmod 777 [na...
炼丹手册——NaN值问题
爱做菜的炼丹师
12-06 387
对于会写BUG的炼丹师在神经网络的训练阶段，相信经常遇到loss值特别大或者出现NaN的情况。近期我自己把YOLOv1-v4手撸了一把，果不其然我是个善于写BUG的炼丹师，给自己挖了各种细节坑，然后又经历了一点点排查填坑的过程。废话到此为止，我们来说说loss出现特别大或者NaN的问题及其解决方法，内容包括自己踩的坑以及网上别的小伙伴的总结：权重初始化造成loss异常神经网络在训练过程中基于梯度下...
最新五步炼丹，qwen通义千问1
2401_84584609的博客
05-03 641
n3. 增加对空气污染的影响的认识，鼓励市民减少污染物的生成。“output”: “自主机器人是计算机控制的机器，被编程执行特定任务而不需要任何人类输入，从而实现了新的效率、精确度和可靠性水平。自主机器人在各个行业中被越来越广泛地应用，从制造业，它们可以使用精度和一致的质量组装复杂的组件，到医疗保健，可以协助进行医疗测试和处理，再到安全，可以监控大面积地区，保障人们和财产的安全。这个调整过程称为学习，通过比较网络产生的输出和期望的结果，然后使用优化算法来调整权重，使得网络输出逼近期望的结果。
五步炼丹，qwen通义千问1.5版本微调实战
热门推荐
IT大头的博客
03-15 1万+
通用千问微调，lora微调，qwen1.5微调，通义千问1.5微调，最近阿里大模型通义千问qwen推出了1.5版本的开源模型，涉及了0.5B, 1.8B, 4B, 7B, 14B, 及72b在内的多种参数模型与量化模型因此本篇文章是基于一个开源大模型微调训练工具包使用lora对qwen1.5的，但是对于每个人的机器配置以及cuda环境，可能会导致一些问题，如果遇到问题可以发在评论区，大家一起研究，同时测试数据我放到下面了，需要的自行获取。
深度学习与炼丹技巧.zip
04-14
一些常用的深度学习与炼丹技巧
保姆级 Lora 炼丹教程
07-06
Lora 负责将现实生活中的对象，包括人或物，转化为高度逼真的数字模型，而 ControlNet 则用于更精细地控制这些生成的模型，使其能够按照用户的需求进行操作。通过这两者的结合，用户可以创建出定制的真人模特或为...
sd-webui中文提示词插件、老手新手炼丹必备.zip
03-02
在"说明.txt"文件中，应该会详细阐述安装步骤和可能遇到的问题解决方案。 总的来说，"sd-webui中文提示词插件"是一个为JavaScript开发优化的工具，旨在提高开发者的编码效率和体验。通过提供中文提示，它降低了学习...
谈谈怎样提高炼丹手速.pdf
08-12
在提高炼丹手速的过程中，我们可以学习和实践新的技术和技能，如深度学习、机器学习、自然语言处理等。这将帮助我们更好地掌握炼丹手速，提高自己的职业发展和个人成长。 提高炼丹手速是每个算法工程师所追求的目标...
谈谈怎样提高炼丹手速.rar
10-18
在IT行业中，尤其是在人工智能（AI）、自然语言处理（NLP）和机器学习领域，"炼丹"一词常被用来形容数据科学家或算法工程师优化模型的过程。这里的"提高炼丹手速"指的是如何更高效地进行模型调优，提升算法性能。这...
C/C++开发，opencv内置背景减除算法与运动检测
最新发布
技术需要分享
08-14 606
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
Spark MLlib 特征工程(上)
08-14 1510
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
GraphRAG：复杂查询的知识图谱新框架
YeJuliaLi的博客
08-14 453
微软最近发布了名为 GraphRAG（Graphs + Retrieval Augmented Generation）的创新 RAG 框架，这是一个将文本提取、语义网络分析，与大语言模型（LLM）的提示和总结功能结合在一起的端到端系统，用于深入理解文本数据集。在对私有数据中的复杂文本信息进行文档分析时，GrahRAG 使用 LLM 生成的知识图谱来大幅提高问答性能。这里的私有数据集是指 LLM 没...
一键生成民谣的AI音乐工具来了！
Nonsense_man的博客
08-12 172
今天分享一个可以在线免费生成音乐的AI工具。 工具使用的是「豆包」 很多人可能用过豆包写作，或者作图，但最近上线了AI音乐生成功能。
diffusion炼丹
09-03
在引用的内容中，并没有提到关于diffusion炼丹的信息。因此，我无法回答这个问题。在上述引用中，提到了Stable Diffusion这个技术，它是一种稳定扩散技术，具有多种功能，如恢复画质和室内设计等。如果您有关于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值