日志服务SLS数据导入简介
日志服务SLS是云原生观测和分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务是提供一站式数据采集、加工、查询与分析、可视化、告警、消费与投递等功能。全面提升在研发、运维、运营、安全等场景的数字化能力。SLS在数据导入方面提供了丰富的数据源,如OSS导入、MaxCompute、MySQL、SQL Server等数据源。
PostgreSQL是一款免费的对象-关系数据服务器,在互联网和物联网领域都有广泛的应用场景,PostgreSQL也自称是最强大的开源关系型数据库系统,SLS也在近期上线了PostgreSQL数据源导入功能。本文将介绍如何把PostgreSQL的数据导入SLS,并且从可观测性的角度来介绍下非业务类数据导入的场景。
PostgreSQL业务数据导入
这里以电商系统的订单表为例,如下是订单表orders
的结构,存储了用户ID、价格、优惠券之类的字段,接下来可以通过简单的配置将订单数据导入到SLS。
CREATE TABLE IF NOT EXISTS orders (
id serial primary key,
user_id BIGINT NOT NULL,
sku_id BIGINT,
sku_category VARCHAR(100),
sku_count INT,
sku_price INT,
total_price INT,
supplier_type VARCHAR(100),
pay_id VARCHAR(50),
pay_channel VARCHAR(20),
pay_amount INT,
coupon_id INT DEFAULT 0,
buy_channel VARCHAR(50) DEFAULT '',
state INT NOT NULL,
client_ip VARCHAR(15) DEFAULT '',
create_time timestamp(6) DEFAULT current_timestamp,
update_time timestamp(6) DEFAULT current_timestamp
);
数据导入
根据已经创建好的Project、Logstore,展开Logstore的配置,选择数据导入
,选择 +
按钮
PostgreSQL数据导入
在快速数据导入
页面,选择PostgreSQL - 数据导入
;
数据源配置
在数据源设置页面,填写配置名称、数据库连接地址等,如果使用VPC地址,需要勾选VPC地址,输入数据库所在的VPC实例ID。
下述示例中查询语句使用了SELECT * FROM orders WHERE id > $1 ORDER BY id
,其中$1
表示占位符,用来做CheckPoint使用。
高级配置
高级配置
中,选择CheckPoint字段
为id
,CheckPoint字段初始值
为0<