日志服务SLS数据导入简介
日志服务SLS是云原生观测和分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务是提供一站式数据采集、加工、查询与分析、可视化、告警、消费与投递等功能。全面提升在研发、运维、运营、安全等场景的数字化能力。SLS在数据导入方面提供了丰富的数据源,如OSS导入、MaxCompute、MySQL、SQL Server等数据源。
PostgreSQL是一款免费的对象-关系数据服务器,在互联网和物联网领域都有广泛的应用场景,PostgreSQL也自称是最强大的开源关系型数据库系统,SLS也在近期上线了PostgreSQL数据源导入功能。本文将介绍如何把PostgreSQL的数据导入SLS,并且从可观测性的角度来介绍下非业务类数据导入的场景。
PostgreSQL业务数据导入
这里以电商系统的订单表为例,如下是订单表orders的结构,存储了用户ID、价格、优惠券之类的字段,接下来可以通过简单的配置将订单数据导入到SLS。
CREATE TABLE IF NOT EXISTS orders (
id serial primary key,
user_id BIGINT NOT NULL,
sku_id BIGINT,
sku_category VARCHAR(100),
sku_count INT,
sku_price INT,
total_price INT,
supplier_type VARCHAR(100),
pay_id VARCHAR(50),
pay_channel VARCHAR(20),
pay_amount INT,
coupon_id INT DEFAULT 0,
buy_channel VARCHAR(50) DEFAULT '',
state INT NOT NULL,
client_ip VARCHAR(15) DEFAULT '',
create_time timestamp(6) DEFAULT current_timestamp,
update_time timestamp(6) DEFAULT current_timestamp
);
数据导入
根据已经创建好的Project、Logstore,展开Logstore的配置,选择数据导入,选择 + 按钮

PostgreSQL数据导入
在快速数据导入页面,选择PostgreSQL - 数据导入;

数据源配置
在数据源设置页面,填写配置名称、数据库连接地址等,如果使用VPC地址,需要勾选VPC地址,输入数据库所在的VPC实例ID。
下述示例中查询语句使用了SELECT * FROM orders WHERE id > $1 ORDER BY id,其中$1表示占位符,用来做CheckPoint使用。

高级配置
高级配置中,选择CheckPoint字段为id,CheckPoint

本文介绍了如何将PostgreSQL的数据导入阿里云的日志服务SLS,包括业务数据导入的步骤、数据源配置和高级设置。此外,文章还探讨了PostgreSQL的可观测性,如通过系统表和统计视图监控数据库状态,以及利用扩展插件收集资源开销和分析SQL性能。
最低0.47元/天 解锁文章

281

被折叠的 条评论
为什么被折叠?



