老葱头蒸鸡-CSDN博客

原创（2）Conda在Linux上部署

上个章节已经介绍Conda相关概念与部署方案，但是那都是基于Window系统上部署的，现在让我们来学习下如何在Linux上部署Miniconda环境管理工具。

2025-04-28 14:09:03 402

原创（1）使用Unsloth微调工具对模型进行微调

Unsloth是一个专注于高效微调大语言模型（LLMs）的开源工具，旨在显著提升模型训练速度并优化资源利用率。其名称中的"Un-"前缀与"Sloth"（树懒）结合，寓意打破传统训练中的低效问题，帮助开发者以更快的速度完成模型迭代。

2025-04-28 10:58:07 811

原创（1）使用vLLM在Linux上部署模型

vLLM是一个专为大规模语言模型(LLMs)设计的高效推理和服务框架，旨在优化模型的推理速度、吞吐量和内存利用率。它由加州大学伯克利分校的研究团队开发，特别适合在生产环境中部署大模型（如GPT、LLaMA等）。

2025-04-28 10:38:40 944

ModelScope是由阿里巴巴达摩院推出的开源模型社区与服务平台，旨在为开发者、研究者及企业提供便捷的模型即服务(MaaS, Model-as-a-Service)体验。它通过集成丰富的预训练模型和工具，降低AI技术的应用门槛，推动AI生态的开放与协作。1.1核心功能与特点◎覆盖自然语言处理（NLP）、计算机视觉（CV）、语音、多模态等领域的超千个模型，例如：NLP：文本生成、翻译、情感分析（如GPT、ChatGLM等）。

2025-04-28 10:15:49 556

原创（1）HuggingFace在Linux上部署与模型下载

HuggingFace 是一个专注于自然语言处理（NLP）和机器学习领域的开源平台和社区，旨在为开发者和研究人员提供高效的工具和资源来构建、训练和部署人工智能模型。目前主流的两个开源大模型平台分别是HuggingFace、ModelScope。

2025-04-28 10:10:31 359

原创（3）Canal高可用集群

在最近项目开中，为了减少前台搜索对数据库访问压力，入库的物料都需要同步一份数据到ES，让前台搜索直接访问ES，不直接访问数据库获取数据。一开始做法是代码串行先保存到数据库，再同步到ES。但是会有一个坑，如果两者其一保存数据不成功，就会导致数据库跟ES数据不一致，而且这种方式是对站点代码是有侵入式的。搜索相关资料发现阿里的canal这个增量数据订阅&消费的中间件可以无侵入式地有效解决该问题，canal伪造从库拉取mysql库每次修改binary log对象解析后，再通过MQ同步数据到ES。

2025-02-06 16:49:50 1081

原创（1）Conda在Window上部署

Conda是一个流行的开源包管理和环境管理工具，可以快速安装、管理、运行、部署和更新Python软件包及其依赖项。Conda可以轻松地在本地计算机上创建、保存、加载和切换环境。它是为 Python 程序创建的，但它可以为任何语言打包和分发软件。它的主要优势在于跨平台性能强大（支持Windows、macOS和Linux）、易于使用的环境管理，以及支持多种编程语言和非Python软件包的管理。Conda作为包管理器可帮助您查找和安装包。

2023-12-27 14:13:17 1322 2

原创（2）Scrapy的Spiders（蜘蛛）

这是最简单的爬虫蜘蛛(Spider)类，也是所有其他Spider类的父类。该类不提供任何特殊功能，它只是提供了一个默认start_requests()请求实现，它根据自身属性发送请求并为每个结果(response)调用Spider类的parse()方法解析数据。允许Spider抓取的域名字符串数组。Spider名称是Scrapy组件定位和实例化Spider类的方式，因此它必须是唯一的。这是最重要的Spider属性，它是必需的。Spiders（蛛蛛）文件下是定义抓取某个站点或一组站点的类。

2023-12-26 10:18:31 732

原创（2）Canal管理后台在linux上部署

canal-admin设计为canal组件提供了配置管理、节点运维等功能的WebUI操作界面，方便用户快速操作。

2022-12-14 17:50:21 728

原创（1）Canal在linux上搭建集群

官网https://github.com/alibaba/canal介绍，canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。从上述介绍我们可以简单认为Canal就是一个简单的增量数据同步工具。

2022-12-14 16:43:11 579 3

原创（1）Zookeeper在linux上搭建集群

zookeeper是Apache软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。zookeeper的架构通过冗余服务实现高可用性。zookeeper的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。

2022-12-14 14:03:18 1412

原创（1）Scrapyrt安装与使用

Scrapyrt为Scrapy提供了一个调度和使用蜘蛛(spider)的HTTP接口，有了它，我们就不需要再执行Scrapy命令，而是通过请求一个HTTP接口来调度和使用Scrapy蜘蛛(spider)的任务了。Scrapyrt比Scrapyd更轻量，如果不需要分布式多任务的话，可以简单使用Scrapyrt实现远程Scrapy任务的调度。

2022-10-10 15:49:02 644

原创（4）Scrapy的Item Pipeline（项目管道）

一个项目(Item)被蜘蛛(spider)抓取后，它被发送到项目管道(Item Pipeline)，该管道通过几个按顺序执行的组件来处理它。

2022-08-19 12:01:00 674

原创（3）Scrapy的Items（项目）

通常抓取的目标源一般都是非结构化来源，例如网页HTML等。我们需要从中提取结构化数据（解析数据）。Spider（蛛蛛）可以将提取的数据返回为Item（项目）对象，即定义键值对的Python对象。Scrapy支持多种类型的Item。创建Item时，您可以使用所需的任何类型的Item对象接收解析数据。.........

2022-08-12 14:12:53 1598 1

原创（1）Scrapy安装与创建项目

Scrapy是一个用于抓取网站和提取结构化数据的应用程序框架，可用于广泛的有用应用程序，如数据挖掘、信息处理或历史档案。尽管Scrapy最初是为网络抓取而设计的，但它也可以用于使用 API（例如Amazon Associates Web Services）或作为通用网络爬虫来提取数据。............

2022-08-10 17:02:41 2518 1