USTSD的博客

原创 【SqlServer】存储过程：批量查询数据库下表的元数据

一、查询单张表1.1 根据表名查询表结构--快速查看表结构(比较全面的)DECLARE @tableName NVARCHAR(MAX);SET @tableName = N'YMUS'; --表名!!!SELECT CASE WHEN col.colorder = 1 THEN obj.name ELSE ...

原创 基于Docker搭建整套大数据生态：预告

涉及组件：MySQL/Hadoop/Hive/Spark/Sqoop/DolphinScheduler/Zookeeper/Kafka/DataX……仓库地址：https://gitee.com/ljhahu/docker2all.git

原创 导入博客等渠道文章到公众号并进行格式布局-详细教程

〇、参考链接1、常用的Markdown软件对比https://blog.csdn.net/best_luxi/article/details/121786709一、打开微小宝1、下载地址https://www.wxb.com/2、注册登录3、扫码登录二、导入博客链接1、进入编辑器2、导入文章三、获得md文本1、复制编辑器的文本2、拷贝到typora中未测试其他编...

原创 通过Shell脚本自动安装Hive&JDBC测试&提供CDH5网盘地址

〇、参考地址1、Linux下编写脚本自动安装hivehttps://blog.csdn.net/weixin_44911081/article/details/121227024?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522163695916016780269859534%2522%252C%2522scm%2522%253...

原创 Spring Boot整合log4j实战（一）：排除自带依赖、日志重定向、测试类验证

〇、参考资料1、springboot整合log4j全过程详解https://blog.csdn.net/m0_60845963/article/details/1233072322、Spring Boot 全局排除 spring-boot-starter-logging 依赖https://blog.csdn.net/weixin_40690761/article/details/117...

原创 Spring Boot实现任意位置的properties及yml文件内容配置与获取

〇、参考资料1、Spring Boot 中文乱码问题解决方案汇总https://blog.51cto.com/u_15236724/53728242、spring boot读取自定义配置properties文件★https://www.yisu.com/zixun/366877.html3、spring boot通过配置工厂类，实现读取指定位置的yml文件★https://blog....

原创 Spring Boot+Mybatis：实现数据库登录注册与两种properties配置参数读取

〇、参考资料1、hutool介绍https://blog.csdn.net/abst122/article/details/1240913752、Spring Boot+Mybatis实现登录注册https://www.cnblogs.com/wiki918/p/16221758.html3、Spring Boot读取自定义配置文件https://www.yisu.com/zixun...

原创 PostgreSQL常用操作合辑：时间日期、系统函数、正则表达式、库表导入导出、元数据查询、自定义函数、常用案例...

〇、参考地址1、pg官方文档http://www.postgres.cn/docs/9.6/index.html2、腾讯云仓pg文档https://cloud.tencent.com/document/product/878/335713、阿里云数据库RDS PostgreSQL 版https://www.aliyun.com/product/rds/postgresql一、时间日...

原创 Kettle：跨库（SQLServer->PostgreSQL）同步多张表数据的详细设计过程

〇、参考地址1、多个Excel实现同步https://www.wangt.cc/2021/05/kettle%E5%A4%9A%E4%B8%AA%E8%A1%A8%E4%B8%80%E8%B5%B7%E8%BF%81%E7%A7%BB-%E9%80%9A%E8%BF%87%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%E9%85%8D%E7%BD%AE%E9%9C%...

原创 【Java Web】项目通用返回模块ServerResponse：枚举code状态码、泛型返回值、序列化注解限制数据...

一、枚举类编写ResponseCodepackage com.boulderaitech.common;/** * 编写枚举类的步骤 * (1)编写所需的变量 * (2)编写枚举类构造方法 * (3)编写枚举的值，调用构造方法，使用逗号隔开 * (4)编写方法获取枚举类中对应的值 */public enum ResponseCode { //(3)编写枚举的值，调用构...

原创 PostgreSQL函数：查询包含时间分区字段的表，并更新dt分区为最新分区

一、需求1、背景提出新需求后，需要在www环境下进行验收。故需要将www环境脚本每天正常调度但由于客户库无法连接，ods数据无法每日取，且连不上客户库任务直接报错，不会跑ods之后的任务故需要让调度正常运行，且能在事实表中看到最新的分区，有的脚本从ods中取数据时取的是where dt=(select max(dt) from ods.xxx)但有的脚本取的是where dt = to...

原创 PostgreSQL：查询元数据（表 、字段）信息、库表导入导出命令

一、查询表、模式及字段信息1、查询指定模式下的所有表select tablename,*from pg_tableswhere schemaname = 'ods';2、查询指定模式下的表名及字段SELECT C.relname, A.attname AS NAME, format_type ( A.atttypid, A.atttypmod ) AS TYPE, col_d...

原创 postgresql函数：满足特定格式的表及指定日期前的删除

-- 一、现有函数-- 1、现有函数调用select "ap"."delete_analysis_backup"('ap');-- 2、函数内容CREATE OR REPLACE FUNCTION "ap"."delete_analysis_backup"("schema_name" varchar) RETURNS "pg_catalog"."void" AS $BODY$ DECLARE...

原创 postgresql函数：定期删除模式下指定天数前的表数据及分区物理表

一、现有函数-- 1、现有函数调用select ods.deletePartitionIfExists('fact_ship' || '_' || to_char(CURRENT_DATE - INTERVAL'2 month','yyyymmdd'));-- 2、函数内容CREATE OR REPLACE FUNCTION "ods"."deletepartitionifexists"("tb...

原创 Hadoop安装-分布式-Fully

Hadoop安装-分布式-Fully〇、所需资料一、配置1、基础配置(1)系统安装(2)hostname主机名配置(3)ip地址、dns、hosts映射文件配置(4)关闭防火墙与selinux(5)开启ntpd时钟同步(6)jdk安装与环境变量配置(7)机器克隆、配置(8)ssh免密设置2、部署配置(1)包含内容(2)hadoop环境变量配置vi /etc/pro...

原创 【实战】Hadoop安装01-伪分布式-Pseudo

Hadoop安装-伪分布式-Pseudo〇、所需资料一、前置环境安装1、包含内容(1)安装虚拟机安装、系统安装(2)配置ip、host、主机名配置关闭防火墙及selinuxSSH免密登录(2)基础环境安装安装jdk安装ntpd开启时钟同步2、参考地址https://www.cnblogs.com/liujinhui/p/16838546.html二、Hadoop安装...

原创 环境安装-Centos7.4安装及配置

环境安装-Centos7.4安装及配置〇、资料汇总一、虚拟机安装1、下载地址https://pan.baidu.com/s/1zcOp06HX4OxPdsCCGkHbXQ提取码：77772、安装步骤https://mp.weixin.qq.com/s/36OhAiYvAmKVGd-QQ26dWg二、Centos安装1、安装步骤(CentOS7.4)https://blog.c...

原创 【极客时间】大数据概述及HDFS介绍

原创 《Java口袋指南》-内容总结

Java口袋指南一、语言1.命名类名：大驼峰泛型：E标识集合元素方法名：小驼峰变量名：小写包名：小写或下划线2.词法元素/token字符串压缩优化：-XX:-CompactStrings操作符~：按位取反instanceof：类型对比3.基本类型拆箱：引用变量名.intValue()...

原创 Kafka教程（三）：原理及存储

一、思维导图1、实时更新连接https://www.mubucm.com/doc/1GRE2U7qYuj2、思维导图图片二、具体内容8.系统架构架构推导拓扑结构多对多leader读写，follower同步结构组成分类topic存储数据提高吞吐量，进行分区多副本数据一致性通过leader统领动态选举保证分区可用性...

原创 Kafka教程（二）API开发-生产者、消费者、topic

一、地址1、实时更新的思维导图https://www.mubucm.com/doc/4uqlpedefuj2、图片二、具体内容5.producer生产者demo发送pro.send(new ProducerRecord<String,String>("test","123"))ProducerRecord的属性重载方法234只to...

原创 Kafka教程（一）基础入门：基本概念、安装部署、运维监控、命令行使用

Kafka教程(一)基础入门1.基本概念背景领英->Apache分布式、消息发布订阅系统角色存储系统消息系统流处理平台-Kafka Streaming特点高吞吐、低延迟cg消费不同分区可扩展性(热扩展)持久性、可靠性容错性(n-1个replica)高并发(数千个客户端☆)...

原创 【小项目】微信定时推送天气预报Github项目使用及原理介绍-包含cron、天气预报、常用api...

一、资料链接1、github地址https://github.com/qq1534774766/wx-push2、教程地址https://blog.csdn.net/qq15347747/article/details/1265217743、易客云API(自动发送天气)https://yikeapi.com/account/index4、apispace-各种接口(名人名言)ht...

原创 【数据库】Postgresql、PG的分区操作：创建、删除指定分区，非分区表转分区表...

〇、参考链接一、为表创建指定分区-- 表创建分区 参数 表名 分区序列 例如: ltc_customer , 20220915 则创建 ltc_customer_20220915 分区表CREATE or replace FUNCTION createPartitionIfNotExists (tb_name VARCHAR, partiton_val VARCHAR) RETURNS...

原创 【数据库】Postgresql/PG-编写函数实现字段对应加备注

〇、资料链接一、背景构建分区表时，删除了表的字段备注信息1、查询语句select c.relname 表名, cast ( obj_description (relfilenode, 'pg_class') as varchar ) 名称, d.description 字段备注, a.attname 字段, concat_ws ( '', ...

原创 【文档资料】Linux、Vi/Vim常用命令

一、Linux1、系统信息【左1】查看磁盘空间使用情况：df+参数查看当前指定文件或目录的大小：du查看不同硬件信息：cat/proc/xxx查看系统和空闲内存：free +参数SSH退出后程序继续运行：disown或nohup command &2、文件、权限【左2】查看文件大小及所属者权限：ls -lh搜索指定文件：find <dir> -name &l...

原创 ☆推荐的博客或个人技术网站☆

一、个人博客1、程序员小王个人博客https://www.wolai.com/wnaghengjie/ahNwvAUPG2Hb1Sy7Z8waaFhttps://www.wolai.com 【类似notion】

原创 【微服务架构设计实施】第一部分：架构篇-1：微服务架构与Spring Cloud介绍

〇、概述一、微服务架构与Spring Cloud(一)概念不同说法：细粒度的、清凉组件化的小型SOA(面向服务架构)统一说法：小型应用程序(服务组件)，使用轻量级设计方法和HTTP协议通信理想说法：可以不同语言编写，完全独立自治(二)定义广义：复杂系统组件化拆分，轻量通信方式整合，得到拆分的独立组件化小应用组件：代码库&函数式调用微服务组件：应用&HTTP通信提...

原创 【PostgreSQL】PG读取元数据获取表结构及字段类型信息（过程拆解及其他应用场景）...

〇、参考链接一、代码select c.relname 表名, cast ( obj_description (relfilenode, 'pg_class') as varchar ) 名称, d.description 字段备注, a.attname 字段, concat_ws ( '', t.typname, SUBSTRIN...

原创 【电商数仓项目】〇、概述

一、目录第一章：大数据与数据仓库概论第二章：项目需求描述第三章：项目部署的环境准备第四章：用户行为数据采集第五章：业务数据采集模块第六章：数据仓库搭建模块第七章：数据可视化模块第八章：即席查询模块第九章：元数据管理模块二、知识框架体系...

原创 【Linux】个人笔记本安装Centos并开放22端口供外网连接

〇、参考资料一、配置及安装内容(一)配置【today】低配笔记本(装centos)：4+500G个人电脑(装三个节点的虚拟机集群环境)：8+628G(二)所装软件Linux系统(可选centos、Ubuntu、deepin)宝塔面板花生壳(做内网穿透开放22端口)Docker(安装数据库、tomcat……)二、安装步骤1、下载操作系统...

原创 【Linux】通过Crontab和shell脚本实现定期备份和删除PG数据库表数据

〇、参考资料一、Crontab使用1、查看状态service crond status2、新建crontab任务crontab -e输入字符串* * * * * cd /home/bigdata && ./demo1_execute_and_input_parapmeter.sh dbname test3、查看现在的定时任务[bigdata@pg-xuelei...

原创 【数据库】误删表恢复解决方案

一、背景执行语句时遗漏了where条件，导致删除整张表二、解决方案1、使用pg_resetxlog(10之后是pg_resetwal)来重置事务ID来访问被修改的数据。http://wjhsh.net/kuang17-p-10615164.html2、数据库热备份https://www.jb51.net/article/204286.htm...

原创 【数据库】实现批量快速插入大量数据的六种方案

一、(MySQL)通过函数/存储过程1、链接https://www.jb51.net/article/207999.htmhttps://blog.csdn.net/FloraCHY/article/details/1177929032、代码-- 进入数据库use test;-- 显示所有表show tables;-- 创建majors表create table majors...

原创 【数据库】PG日期之间进行加减运算

〇、背景直接计算会报错一、日期之差1、MySQLTIMESTAMPDIFF(SECOND,start_time,submit_time)/60 AS use_time2、SQLServerselect datediff(d,'2020-02-24 20:59:00','2020-02-25 20:00:00')3、Pgsqlselect date_part('day','20...

原创 【数据库】PG/Oracle……不同数据库的字段类型转换方式介绍

一、日期转字符串(一)PG(二)Oracleselect to_char(sysdate,'MM') from dual 输出为:08二、字符串转日期(一)PG(二)Oracle三、数字转换

原创 【Oracle】Oracle读取RAW二进制类型并实现与十六进制的相互转换

1、十六进制转二进制select HEXTORAW('7264B1CD0582734D8E27E0FBDA15B2A5') from dual;2、二进制转十六进制select AUUID_0,RAWTOHEX(AUUID_0) from "TEST"."ABANK";

原创 【PostgreSQL】PG通过SQL语句读取二进制bytea类型并进行二进制和十六进制转换

1、将二进制编码为十六进制select encode("AUUID_0",'hex'),"AUUID_0" from wxf_test."ABANK";2、将十六进制解码为二进制select DECODE('8560377a6d2bf34ab1f2784adc78f500','hex')

原创 【kafka】connect的timestamp模式无法同一秒插入多条记录问题解决

一、现在问题同时插入多条时间戳相同的记录INSERT INTO "ABANK" VALUES ('1', 'CH', '00211', 'UBS Switzerland AG', 'UBSWCHZH31A', ' ', TO_DATE('2015-06-13 00:00:00', 'SYYYY-MM-DD HH24:MI:SS'), TO_DATE('1599-12-31 00:00:00'...

原创 【kafka】JDBC connector进行表数据增量同步过程中的源表与目标表时间不一致问题解决...

〇、参考资料一、现象1、Oracle源表数据2、PG同步后的表数据3、现象时间不一致，差了8个小时4、查看对应的connector信息(1)source{ "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector", "mode": "timestamp", "timestamp...