算法美食屋-CSDN博客

原创 pandas的dataframe如何更改数据类型？

pandas的dataframe数据类型转换在使用pandas库进行数据分析时，有时候会需要将object类型转换成数值类型(float,int)，那么如何做呢？主要有以下三种方法：创建时指定类型，df.astype强制类型转换，以及使用pd.to_numeric() 转换成适当数值类型。一，创建时指定类型二，使用df.astype()强制类型转换三，...

2018-07-22 20:38:16 160540 1

原创 3小时入门numpy,pandas,matplotlib

使用Python中的三个库可以优雅地进行数据分析，得到一只野生的Matlab，这三个库是numpy，pandas 和 matplotlib。numpy是高性能科学计算和数据分析的基础包，其array多维数组拥有丰富的数据类型，基于向量化技术可以有效代替循环，代码简单速度极快。以numpy为基础的pandas中的数据框dataframe集数据分析工具万象于一身，可以像array数组一样进...

2018-07-22 20:19:07 1904 1

原创 3小时Python入门

一，编程环境推荐使用jupyter notebook1，可以下载安装Anaconda 使用 jupyter notebook2，也可以注册聚宽账号(https://www.joinquant.net/)，在"我的策略"-->"投资研究"中可以直接使用jupyter notebook在jupyter notebook 中使用快键键 Ctrl+Enter 运行单元格c...

2018-07-22 18:34:29 835

Xlearn是你面对结构化数据分类/回归任务时，除了xgboost/lightgbm/catboost之外，又不想搞训练很慢的深度学习模型时，可以尝试考虑的一个能够快速落地的机器学习baseline基准。你可以将它单独使用 (在某些场景中可能会好于GBDT类模型)，也可以尝试将它和GBDT类模型进行模型融合(基本在所有场景中都会有所提升)。它常常在广告点击率预测、推荐系统等存在大规模稀疏特征，并且...

2024-01-01 22:22:40 1015

原创使用Prophet预言家进行时间序列预测

prophet是facebook在2017年开源的强大的时间序列预测工具。prophet(读作 ˈprɒfɪt)这个英文单词的意思是先知，预言家(没错，就是天黑请睁眼的那位????)。顾名思义，它能够预测未来。Prophet是一个设计精妙的单层的回归模型，特别适合对具有明显季节周期性(如气温，商品销量，交通流量等)的时间序列进行预测，并具有强大的解释性。我们将简要介绍Prophet框架的算法原理，并以一...

2023-11-26 18:21:56 277

原创训练日志刷屏使我痛苦，我开发了VLog

训练日志刷屏使我痛苦，我开发了VLog，可以在任意训练代码中轻松使用~例如，通过callback嵌入到lightgbm/catboost/transformers/ultralytics，乃至keras库的训练代码流程中~before:after：为什么不用tensorboard或者wandb?tensorboard需要开端口权限，服务器开发环境有时候没有端口权限~wandb需要联网，有时候网速很...

2023-11-11 11:59:39 237

原创 BaiChuan2保姆级微调范例

前方干货预警：这可能是你能够找到的，最容易理解，最容易跑通的，适用于各种开源LLM模型的，同时支持多轮和单轮对话数据集的大模型高效微调范例。我们构造了一个修改大模型自我认知的3轮对话的玩具数据集，使用QLoRA算法，只需要5分钟的训练时间，就可以完成微调，并成功修改了LLM模型的自我认知。公众号美食屋后台回复关键词:torchkeras，获取本文notebook源代码和更多有趣范例~before...

2023-10-17 22:10:52 2771

原创 30分钟吃掉YOLOv8实例分割范例

本范例我们使用 torchkeras来实现对 ultralytics中的YOLOv8实例分割模型进行自定义的训练，从而对气球进行检测和分割。尽管ultralytics提供了非常便捷且一致的训练API，再使用torchkeras实现自定义训练逻辑似乎有些多此一举。但ultralytics的源码结构相对复杂，不便于用户做个性化的控制和修改。并且，torchkeras在可视化上会比ultralytics...

2023-09-16 22:37:32 369

原创 Qwen7b微调保姆级教程

前方干货预警：这可能是你能够找到的，最容易理解，最容易跑通的，适用于各种开源LLM模型的，同时支持多轮和单轮对话数据集的大模型高效微调范例。我们构造了一个修改大模型自我认知的3轮对话的玩具数据集，使用QLoRA算法，只需要5分钟的训练时间，就可以完成微调，并成功修改了LLM模型的自我认知(以Qwen7b-Chat为例)。公众号算法美食屋后台回复关键词：torchkeras，可获取本文noteboo...

2023-09-13 09:22:09 5780 1

原创 9个范例带你入门LangChain

前方干货预警：这可能是你心心念念想找的最好懂最具实操性的langchain教程。本文通过演示9个具有代表性的应用范例，带你零基础入门langchain。公众号算法美食屋后台回复关键词：langchain，获取本文notebook源代码。9个范例功能列表如下：1，文本总结(Summarization): 对文本/聊天内容的重点内容总结。2，文档问答(Question and Answering Ov...

2023-09-03 17:36:43 574

原创 BaiChuan13B多轮对话微调范例

前方干货预警：这可能是你能够找到的，最容易理解，最容易跑通的，适用于多轮对话数据集的大模型高效微调范例。我们构造了一个修改大模型自我认知的3轮对话的玩具数据集，使用QLoRA算法，只需要5分钟的训练时间，就可以完成微调，并成功修改了LLM模型的自我认知。公众号算法美食屋后台回复关键词：torchkeras，获取本文notebook源代码。我们先说说原理，主要是多轮对话微调数据集以及标签的构造方法，...

2023-08-21 00:42:18 739

原创 10分钟入门faiss相似向量检索

一，faiss简介faiss全称 Facebook AI Similarity Search，是FaceBook的AI团队针对大规模向量进行 TopK 相似向量检索的一个工具，使用C++编写，有python接口，对10亿量级的索引可以做到毫秒级检索的性能。使用faiss 搭配合适的model和embedding函数，可以帮助我们构建人脸识别，相似图片检索，LLM知识库问答，推荐系统召回...

2023-08-11 09:17:31 1604 1

原创 Llama深入浅出

前方干货预警：这可能是你能够找到的最容易懂的最具实操性的学习开源LLM模型源码的教程。本例从零开始基于transformers库逐模块搭建和解读Llama模型源码(中文可以翻译成羊驼)。并且训练它来实现一个有趣的实例：两数之和。输入输出类似如下：输入："12345+54321="输出："66666"我们把这个任务当做一个文本生成任务来进行。输入是一个序列的上半部分，输出其下半部分.这和文本生成的输...

2023-08-06 22:42:32 1384

原创 Transformer深入浅出

前方干货预警：这可能是你能够找到的最容易懂的最具实操性的最系统的学习transformer模型的入门教程。我们从零开始用pytorch搭建Transformer模型(中文可以翻译成变形金刚)。训练它来实现一个有趣的实例：两数之和。输入输出类似如下：输入："12345+54321"输出："66666"我们把这个任务当做一个机器翻译任务来进行。输入是一个字符序列，输出也是一个字符序列(seq-to-...

2023-08-01 22:53:55 165

原创微调BaiChuan13B来做命名实体识别

传统上，一般把NLP的研究领域大致分为自然语言理解（NLU）和自然语言生成（NLG）两种。NLU侧重于如何理解文本，包括文本分类、命名实体识别、指代消歧、句法分析、机器阅读理解等；NLG则侧重于理解文本后如何生成自然文本，包括自动摘要、机器翻译、问答系统、对话机器人等。但是以ChatGPT为代表的大模型出来后，这些传统的NLP的细分研究领域基本可以说都失去了独立研究的价值。为什么呢？因为大模型可以...

2023-07-23 12:23:17 727

原创 Baichuan-13B 保姆级微调范例

干货预警：这可能是你能够找到的最容易懂的，最完整的，适用于各种NLP任务的Baichuan-13B-Chat的finetune教程~Baichuan-13B是百川智能于2023年7月11日发布的开源中英双语LLM，各项指标经评测在开源LLM中同尺寸模型中位居前列。Baichuan-13B包括Baichuan-13B-Base和Baichuan-13B-chat两个不同模型。前者仅仅是预训练模型，后...

2023-07-20 00:50:49 3535

原创用Kaggle免费GPU微调ChatGLM2

前方干货预警：这篇文章可能是你目前能够找到的可以无痛跑通LLM微调并基本理解整个流程的门槛最低的入门范例。门槛低到什么程度，本范例假设你是一个三无用户。1，无NLP经验：你没有扎实的NLP理论知识，只有一些基本的炼丹经验。没关系，我们会在恰当的时候告诉你必要的原理。2，无GPU：你没有任何一块可以使用的GPU。没关系，我们直接在Kaggle环境上使用免费的P100GPU，并给没有kaggle使用经...

2023-07-16 10:36:47 1764

原创单样本微调给ChatGLM2注入知识~

前方干货预警：这可能也是一篇会改变你对LLM微调范式，以及对LLM原理理解的文章。同时这也是一篇非常有趣好玩，具有强大实操性的ChatGLM2微调喂饭级教程。我们演示了使用AdaLoRA算法，使用1条样本对ChatGLM2-6b实施微调。几分钟就成功注入了"梦中情炉"有关的知识。公众号算法美食屋后台回复关键词：torchkeras，获取本文notebook源码。summary:(1) 只需要1条样...

2023-07-08 21:11:22 934 1

原创 60分钟吃掉ChatGLM2-6b微调范例~

干货预警：这可能是你能够找到的最容易懂的，最完整的，适用于各种NLP任务的开源LLM的finetune教程~ChatGLM2-6b是清华开源的小尺寸LLM，只需要一块普通的显卡(32G较稳妥)即可推理和微调，是目前社区非常活跃的一个开源LLM。本范例使用非常简单的，外卖评论数据集来实施微调，让ChatGLM2-6b来对一段外卖评论区分是好评还是差评。可以发现，经过微调后的模型，相比直接 3-sho...

2023-07-03 00:46:54 3346 3

原创算法工程师提升工作效率的5个小工具

算法工程师在日常工作中大部分时间还是在和数据打交道。诸如数据准备，数据清洗，特征分析(EDA) 等等。这里给大家介绍我非常喜爱的5个处理数据的小工具，也是我个人使用比较高频的几个工具，相信可以解决大家的一些痛点。1，一行代码根据关键词抓取百度图片【数据准备】????????????2，一行代码根据url获取图片【数据准备】3，一行代码合并多个数据集文件夹【数据准备】4，五行代码清洗数据集中的重复图片【数据清...

2023-06-29 23:30:18 170

原创用BERT做命名实体识别任务

命名实体识别NER任务是NLP的一个常见任务，它是Named Entity Recognization的简称。简单地说，就是识别一个句子中的各种名称实体。诸如：人名，地名，机构等。例如对于下面这句话：小明对小红说:"你听说过安利吗？"它的NER抽取结果如下:[{'entity':'person','word':'小明','start':0,'end':2},{'e...

2023-06-26 00:18:12 1552 1

原创 30分钟吃掉DQN算法

表格型方法存储的状态数量有限，当面对围棋或机器人控制这类有数不清的状态的环境时，表格型方法在存储和查找效率上都受局限，DQN的提出解决了这一局限，使用神经网络来近似替代Q表格。本质上DQN还是一个Q-learning算法，更新方式一致。为了更好的探索环境，同样的也采用epsilon-greedy方法训练。在Q-learning的基础上，DQN提出了两个技巧使得Q网络的更新迭代更稳定。经验回放(Ex...

2023-06-19 09:04:00 163

原创 Q-learning解决悬崖问题

Q-learning是一个经典的强化学习算法，是一种基于价值(Value-based)的算法，通过维护和更新一个价值表格(Q表格)进行学习和预测。Q-learning是一种off-policy的策略，也就是说，它的行动策略和Q表格的更新策略是不一样的。行动时，Q-learning会采用epsilon-greedy的方式尝试多种可能动作。更新时，Q-learning会采用潜在收益最大化的动作进行价值...

2023-06-18 22:23:37 279

原创 10种实用的Prompt技巧图解

收集整理了prompt engineering的10种实用技巧，以图解的方式解释了它们的主要原理。本文追求以极简风格逼近这些方法的第一性原理，把黑话翻译成人话，并使用图片范例进行说明。同时也加入了一些自己的理解，如有出入欢迎指正。一，Structured Prompt (结构化提示词) 可以按照 prompt = 角色 + 任务 + 要求 + 提示的结构设计清晰明了的提示词。简单地说，这个结构...

2023-06-17 21:38:50 3234

原创使用SwinTransformer进行图片分类

SwinTransformer 是微软亚洲研究院在2021年提出的适用于CV领域的一种基于Tranformer的backbone结构。它是 Shift Window Transformer 的缩写，主要创新点如下。1，分Window进行Transformer计算，将自注意力计算量从输入尺寸的平方量级降低为线性量级。2，使用Shift Window 即窗格偏移技术来融合不同窗格之间的信息。(SW...

2023-06-13 23:00:02 1807

原创使用BERT进行文本分类

本范例我们微调transformers中的BERT来处理文本情感分类任务。我们的数据集是美团外卖的用户评论数据集。模型目标是把评论分成好评(标签为1)和差评(标签为0)。#安装库#!pipinstalldatasets#!pipinstalltransformers[torch]#!pipinstalltorchkeras公众号算法美食屋后台回复关键词 torchkeras, ...

2023-06-05 22:12:08 2949

原创 YOLOv8 训练自己的数据集

本范例我们使用 ultralytics中的YOLOv8目标检测模型训练自己的数据集，从而能够检测气球。#安装!pipinstall-Uultralytics-ihttps://pypi.tuna.tsinghua.edu.cn/simpleimportultralyticsultralytics.checks()一，准备数据公众号算法美食屋后台回复关键词：yolov8，获取本文...

2023-06-04 18:17:24 1688

原创 30分钟吃掉CRNN-CTC验证码识别

本范例我们使用经典的 CRNN+ CTC Loss 的OCR模型来识别验证码。我们通过导入一个叫 captcha 的库来生成验证码。我们生成验证码的字符由数字和大写字母组成。项目参考：https://github.com/ypwhs/captcha_break#!pipinstallcaptchatorchkerasimporttorchimporttorch.nnasnnim...

2023-06-02 23:14:41 180

原创 60分钟吃掉detectron2

本范例演示使用非常有名的目标检测框架detectron2 ????????在自己的数据集(balloon数据)上训练实例分割模型MaskRCNN的方法。detectron2框架的设计有以下一些优点：1，强大：提供了包括目标检测、实例分割、全景分割等非常广泛的视觉任务模型库。2，灵活：可以通过注册机制自定义模块或模型结构，从而进行扩展和改进。3，易用：通过list of dict格式定义自己的数据集, 简单好用...

2023-05-28 22:17:12 355

原创训练DeeplabV3+来分割车道线

本例我们训练DeepLabV3+语义分割模型来分割车道线。DeepLabV3+模型的原理有以下一些要点：1，采用Encoder-Decoder架构。2，Encoder使用类似Xception的结构作为backbone。3，Encoder还使用ASPP(Atrous Spatial Pyramid Pooling)，即空洞卷积空间金字塔池化，来实现不同尺度的特征融合，ASPP由4个不同rate的空洞...

2023-05-26 08:40:32 796 1

原创离离原上谱，上海大学插班生招生绩点折算方法

事情是这样的。我有个小表弟报名了今年上海大学的插班生考试，但是没有通过报名资格审核。原因是因为上海大学今年搞了一个离谱的绩点折算方法。小表弟的加权平均分达到了90分，在他们学院数一数二，还拿到了奖学金。但是因为这个离谱的绩点折算方法，却连参加上海大学插班生考试的资格都没有。究竟怎么回事呢？还得从今年上海大学的插班生考试政策说起。上海大学今年插班生招生政策相比往年多了对报考同学的大一成绩的绩点的要求...

2023-05-25 07:51:41 1107 3

原创 FasterRCNN训练自己的数据集

2016年提出的Faster RCNN目标检测模型是深度学习现代目标检测算法的开山之作，也是第一个真正全流程都是神经网络的目标检测模型。其主要步骤如下：1，使用CNN对输入图片提取feature map.2，对feature map上的每个点设计一套不同大小和长宽比的anchor作为先验框。3，设计RPN网络从大量的anchor中筛选出一些作为目标框的proposals并用回归分支纠正它们的位置。...

2023-05-21 23:39:11 4558 3

原创炼丹师，这是你的梦中情炉吗？

一, 炼丹之痛无论是学术研究还是工业落地，pytorch几乎都是目前炼丹的首选框架。pytorch的胜出不仅在于其简洁一致的api设计，更在于其生态中丰富和强大的模型库。但是我们会发现不同的pytorch模型库提供的训练和验证代码非常不一样。torchvision官方提供的范例代码主要是一个关联了非常多依赖函数的train_one_epoch和evaluate函数，针对检测和分割各有一套。yol...

2023-05-18 23:09:40 326

原创 ChatGPT的prompt技巧公式

范例演示：如何用ChatGPT绘制一个五角星？⭐️prompt = 角色 + 任务 + 要求 + 提示【步骤拆解、范例说明，技巧点拨等】用大白话解释就是要告诉chatgpt：你是谁？要做什么？要做成什么样？要怎么做？公众号算法美食屋后台回复关键词：chatgpt，获取本文范例代码和B站视频演示。fromtorchkeras.chatgptimportChatGPTapi_key=...

2023-05-15 08:19:29 732

原创 YOLOv8——CV界的XGBoost

yolov8是ultralytics公司于2023年1月开源的anchor-free的最新目标检测算法框架。封装在ultralytics这个库中：https://github.com/ultralytics/ultralytics它具有以下优点：1，性能速度领先：借鉴了之前许多YOLO版本的trick，达到了领先的性能和极致的速度。2，多种任务支持：支持图片分类，目标检测，实例分割，目标追踪，关...

2023-04-28 22:23:04 2333

原创 pathlib~更优雅地操作路径~

最近在做图像相关的算法，经常有对文件路径的一些条件遍历操作，发现最好使的还是下面这行神奇代码。frompathlibimportPathimgs=[str(x)forxinPath('./dataset/images/').rglob('*.jp*g')if'checkpoint'notinstr(x)]这行代码主要使用的是pathlib库，相比于传统的os模块的函数...

2023-04-14 08:18:11 111

原创 Gradio~让你的机器学习模型~性感起来

gradio是一个快速构建机器学习Web展示页面的开源Python库。只需要几行代码，就可以让你的机器学习模型从抽象晦涩的代码变成性感可爱的交互界面。让没有任何编程技能的用户也能够轻松使用和体验模型。它非常适合在模型迭代测试中快速获取用户反馈或者在汇报展示中进行使用，非常酷炫。公众号算法美食屋后台回复关键词：gradio, 获取本文notebook源代码和Bilibili视频演示教程~相比另一个...

2023-04-09 21:59:58 3844

原创气炸了！被交通银行这波操作～

由于经济环境不好，我一直有在交通银行提前还房贷，来降低房贷利息支出。本来应该是非常正常的业务，房贷合同里也写了，客户可以提前还款，向银行申请即可。之前一直是在交通银行手机银行操作，申请后15天左右就会审批。今年2月的时候发现，审批时间变成了45天。当时有新闻说由于房贷利率降低了很多，许多城市都到了三点几，很多过去那些以五点几六点几贷款买房的老百姓绷不住了，纷纷提前还房贷。有些银行为了避免利息收入...

2023-03-31 20:44:30 1442 3

原创 jupyter安装nbextentions

最爱的是代码折叠codefolding，可以勾选启用，也可以用代码启用(enable)/禁用(disable)如果失败，可以使用conda安装。

2023-03-20 20:11:54 1878

原创 Stable Diffusion绘画入门

一，Stable Diffusion模型原理目前开源的最火爆的AI绘画系统是 Stable Diffusion 模型（稳定扩散模型）。可以完成 text2img, img2img, depth2img【深度图转图像】, seg2img【语义分割图转图像】等基于提示信息【prompt】的图画创作功能。其核心原理简要总结如下：1，通过Attention机制引入text /semantic_map/...

2023-02-26 20:09:55 1772 2

空空如也

空空如也