日常工作问题记录
工作中日常遇到的问题解决+问题记录
莱恩大数据
就职于大型金融互联网科技公司,参与多个高并发分布式大型项目的研发与设计,技术领域涉及数据治理、数据分流、数据同步,一个热衷于Java大数据技术的爱好者!
展开
-
数据建模模块设计文档
一、模型表表结构设计如下:DROP TABLE IF EXISTS t_mode_table;CREATE TABLE t_mode_table( id int8 NOT NULL, db_name VARCHAR(32) NOT NULL, table_name VARCHAR(32) NOT NULL, table_comment VARCHAR(32) NOT NULL, table_ddl VARCHAR(32), subject_id V原创 2021-07-08 14:27:14 · 519 阅读 · 0 评论 -
实时同步抽数ETL---Shell脚本
#!/bin/bashexport LNAG=zh_CN.UTF-8# 补数逻辑,pg => hdfs# -- --schema <name>connect=$1username=$2password=$3hdfs_path=$4query_condition=$5alias_time=$6tablename=$7queue=$8hdfs_path_tmp=${hdfs_path}_tmpquery_condition="${query_condition}原创 2021-05-01 11:03:25 · 1121 阅读 · 0 评论 -
IT日常随记
valotile关键字1、保证可见性2、不保证原子性3、禁止指令重排原创 2021-06-27 00:18:24 · 273 阅读 · 0 评论 -
2021-07-12 日常SQL笔记
DROP TABLE IF EXISTS t_presto_query_event; CREATE TABLE "presto"."t_presto_query_event" ( "id" int8 NOT NULL DEFAULT nextval('t_presto_query_event_id_seq'::regclass), "query_id" varchar(255) COLLATE "pg_catalog"."default" NOT NULL, "transaction..原创 2021-07-12 15:30:16 · 299 阅读 · 0 评论