Sleten09-CSDN博客

原创 springboot实现调用第三方接口获取数据并存入数据库

简介使用springboot框架，调取第三方接口的数据并存入mysql库，不是专门搞java开发的，只是一个sqlboy，欢迎各位大佬指点建议准备1、准备一个第三方接口，我这里用的之前参考另一位大佬的文章使用的api，链接在文末2、根据返回参数，在mysql数据库新建对应表用于接收数据CREATE TABLE `joke` ( `id` varchar(100) DEFAULT NULL, `text` varchar(2000) DEFAULT NULL, `title` var

2020-12-09 20:25:35 22418 28

原创指定字段分隔符为多个的hive建表语句

CREATE TABLE `table_name` (`col1` string COMMENT '字段1',`col2` string COMMENT '字段2') COMMENT '表注释' partitioned by (dt string) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"=

2021-07-21 23:34:04 247 1

原创 window下装的oracle远程连接很慢解决

问题：window下装的oracle远程连接很慢解决参考：win：https://www.cnblogs.com/liuzhixian/p/4764305.html参考：linux：http://www.cnblogs.com/kerrycode/p/4227579.html原因：oracle监听日志过大，已达4个G大小。虽然能连上数据库，但监听已经写不进去了。先将oracle监听服务停止，再将日志重命名，重启监听服务，问题解决监听文件路径：D:\app\Administrator\diag\t

2021-07-21 23:29:12 646

原创使用datax的rdbmsreader实现读取clickhouse

1、替换rdbmsreader中libs中的jar包# 此目录下jar包全拷出来/opt/software/datax/plugin/writer/clickhousewriter/libs# 打开rdbmsreader中libscd /opt/software/datax/plugin/reader/rdbmsreader/libs# 将clickhousewriter中libs目录下的所有jar包拷贝到rdbmsreader中libs#重复的jar包直接替换# 删除guava-r05.ja

2021-07-21 22:53:07 1708 3

原创数据仓库架构分层设计

数据仓库架构分层设计包括STG（数据缓冲层）、ODS（数据操作层）、DWD（数据明细层）、DWS（主题汇总层）和ADM（数据应用层）。1、STG层主要完成业务系统结构化数据引入到数据中台，保留业务系统原始数据，缓冲层设计主要保持和数据源的一致性，不做任何类型转换和数据加工处理，为ODS层提供基础数据服务。2、ODS层对STG层数据进行类型转换或增量合并处理，得到的全量明细数据，为DWD、DWS和ADM层提供数据服务。3、DWD层明细宽表层，用于存放完整详细历史数据。面向业务过程建模，紧紧围绕着

2020-12-09 20:44:35 4790

原创对python模块中最后的if name==main的理解

首先类比java中熟知的public static void main(String[] args)代表了程序主入口，if __name__ == 'main': 这句话的核心无非就是在判断该程序文件是否作为主程序入口。也就是分为了两种情况：1、直接运行该模块如果在命令行直接调用该程序文件，此时__name__的值为main，该文件作为主程序入口，name == ‘main’，所以该模块会自动运行下去。2、别的模块调用该模块当别的模块（模块B）调用该模块（模块A），此时__name__的值为该模块

2020-05-26 21:36:48 672

原创 DataWorks中Sql常见函数以及关键字（持续更新中）

常用函数：coalesce（expr1，expr2）返回列表中第一个非null的值concat（string A，string B）将参数中的所有字符串连接在一起如果没有参数或者有某个参数为null就返回nullcast（expr as ）将表达式的结果转换成目标类型常用关键字：having：MaxCompute SQL的WHERE关键字无法与合计函数一起使用，此时您可以使用H...

2020-03-24 21:47:05 4815

原创浅谈数据管理和数据治理的区别

1.关系：数据治理是数据管理的一部分，治理相对容易界定，它是用来明确相关角色、工作责任和工作流程的，确保数据资产能长期有序地、可持续地得到管理。而数据管理则是一个更为广泛的定义，它与任何时间采集和应用数据的可重复流程的方方面面都紧密相关。例如，简单地建立和规划一个数据仓库，这是数据管理层面的工作。定义谁以及如何访问这个数据仓库，并且实施各种各样针对元数据和资源库管理工作的标准，这是治理层面的工作...

2020-03-24 21:43:35 5015

原创搭建HBase集群启动后从节点的HRegionServer启动后自动关闭

问题描述环境：三台CentOs6.5虚拟机搭建HBase集群启动后从节点的HRegionServer启动后自动关闭解决方法在hbase-site.xml文件中修改或增加，将hbase.master.maxclockskew时间改大<property> <name>hbase.master.maxclockskew</name> <valu...

2019-10-15 21:02:01 618

原创 Nginx不能启动

状态描述：nginx启动不了，任务管理器中不存在nginx进程原因：打开nginx.conf配置文件，如下图 conf配置文件中proxy_pass后面转发的upstream名称为zuulserver 而配置的upstream名称为zuul，nginx在启动时找不到名称为zuulserver的upstream，所以就不能启...

2019-08-18 18:30:01 579

原创 SpringBoot实现自动配置的相关注解

springboot核心注解：@SpringBootApplication@SpringBootConfiguration:标识了一个配置类@EnableAutoConfiguration:自动配置实现注解**@ComponentScan:扫描<context:component-scan>默认情况是根据注解所在的类的包名实现扫描范围的(basePackage="cn.tedu"...

2019-08-16 23:12:42 398

原创一张图看懂JVM、JRE、JDK关系

JVM—java虚拟机要事先在操作系统上安装对应版本的JVM，把java已经开发好了的程序放入到JVM中去执行，使得在不同的操作系统上执行相同的java程序得到的结果是一样的，屏蔽了底层操作系统差异性JRE（java Runtime Environment java运行时环境）提供了java程序执行的环境JRE=JVM+核心类库（提供java程序启动时必须的信息）JDK（java Dev...

2019-08-15 16:34:57 1805

Sleten09的博客