老葱头蒸鸡-CSDN博客

原创（1）Conda安装管理与部署

Conda是一个流行的开源包管理和环境管理工具，可以快速安装、管理、运行、部署和更新Python软件包及其依赖项。Conda可以轻松地在本地计算机上创建、保存、加载和切换环境。它是为 Python 程序创建的，但它可以为任何语言打包和分发软件。它的主要优势在于跨平台性能强大（支持Windows、macOS和Linux）、易于使用的环境管理，以及支持多种编程语言和非Python软件包的管理。Conda作为包管理器可帮助您查找和安装包。

2023-12-27 14:13:17 1019 1

原创（2）Canal管理后台在linux上部署

canal-admin设计为canal组件提供了配置管理、节点运维等功能的WebUI操作界面，方便用户快速操作。

2022-12-14 17:50:21 644 1

原创（1）Canal在linux上搭建集群

官网https://github.com/alibaba/canal介绍，canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。从上述介绍我们可以简单认为Canal就是一个简单的增量数据同步工具。

2022-12-14 16:43:11 367

原创（1）Zookeeper在linux上搭建集群

zookeeper是Apache软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。zookeeper的架构通过冗余服务实现高可用性。zookeeper的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。

2022-12-14 14:03:18 1344

原创（1）Scrapyrt安装与使用

Scrapyrt为Scrapy提供了一个调度和使用蜘蛛(spider)的HTTP接口，有了它，我们就不需要再执行Scrapy命令，而是通过请求一个HTTP接口来调度和使用Scrapy蜘蛛(spider)的任务了。Scrapyrt比Scrapyd更轻量，如果不需要分布式多任务的话，可以简单使用Scrapyrt实现远程Scrapy任务的调度。

2022-10-10 15:49:02 550

原创（4）Scrapy的Item Pipeline（项目管道）

一个项目(Item)被蜘蛛(spider)抓取后，它被发送到项目管道(Item Pipeline)，该管道通过几个按顺序执行的组件来处理它。

2022-08-19 12:01:00 589

原创（3）Scrapy的Items（项目）

通常抓取的目标源一般都是非结构化来源，例如网页HTML等。我们需要从中提取结构化数据（解析数据）。Spider（蛛蛛）可以将提取的数据返回为Item（项目）对象，即定义键值对的Python对象。Scrapy支持多种类型的Item。创建Item时，您可以使用所需的任何类型的Item对象接收解析数据。.........

2022-08-12 14:12:53 1459

原创（1）Scrapy安装与创建项目

Scrapy是一个用于抓取网站和提取结构化数据的应用程序框架，可用于广泛的有用应用程序，如数据挖掘、信息处理或历史档案。尽管Scrapy最初是为网络抓取而设计的，但它也可以用于使用 API（例如Amazon Associates Web Services）或作为通用网络爬虫来提取数据。............

2022-08-10 17:02:41 2008 1