- 博客(6)
- 资源 (52)
- 收藏
- 关注
原创 请用sql把左边转换为右表,新增c列,当B列数据变化时C列重新计算
原题目答题楼主选用的mysql数据库来做这题,创建题目所需表及数据CREATE TABLE `t_test_3` ( `A` int(11) , `B` int(11) ) ;INSERT INTO `t_test_3` VALUES (1, 1);INSERT INTO `t_test_3` VALUES (2, 1);INSERT INTO `t_test_3` VALUES (3, 1);INSERT INTO `t_test_3` VALUES (4, 1);INSER
2020-08-20 17:47:23 402
原创 快速生成sparksql创建carbondata表结构(同步mysql或sqlserver数据)脚本
前言当实时同步mysql或sqlserver很多表数据到carbondata时,经常要手动调整脚本涉及到的每个表的字段、类型及对应建表语句,耗费大量的机械比对粘贴复制工作时间、精力,下面介绍的脚本能快速调整好改动点,只需手动复制改一下即可(快速、准确)需同步的mysql或sqlserver原表结构//sqlserverCREATE TABLE [dbo].[TOTicket] ( [Id] char(16) COLLATE Chinese_PRC_CI_AS NOT NULL, [Park
2020-08-18 15:05:30 709
原创 Spark任务执行流程与运行架构
1.Spark的执行流程1、说明(1)构建Spark Application的运行环境(启动SparkContext),SparkContext向资源管理器(可以是Standalone、Mesos或YARN)注册并申请运行Executor资源;(2)资源管理器分配Executor资源并启动StandaloneExecutorBackend,Executor运行情况将随着心跳发送到资源管理器上;(3)SparkContext构建成DAG图,将DAG图分解成Stage,并把Taskset发送给Task
2020-08-13 10:53:51 787
原创 Hbase核心知识点
Hbase角色HMaster功能:1-监控RegionServer;2-处理RegionServer故障转移;3-处理元数据的变更;4-处理region的分配和移除;5-在空闲时间进行数据的负载均衡;6-通过Zookeeper发布自己的位置给客户端RegionServer功能:1-负责存储Hbase的实际数据;2-处理分配给它的Region3-刷新缓存到HDFS;4-维护HLog;5-执行压缩;6-负责处理Region分片;组件:1-Write-Ahead logsHb
2020-08-11 19:45:51 262
原创 Spark性能优化
1.程序开发开发调优Spark性能优化的第一步,就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。开发调优,就是要让大家了解以下一些Spark基本开发原则,包括:RDD lineage设计、算子的合理使用、特殊操作的优化等。在开发过程中,时时刻刻都应该注意以上原则,并将这些原则根据具体的业务以及实际的应用场景,灵活地运用到自己的Spark作业中。1.1 原则一:避免创建重复的RDD通常来说,我们在开发一个Spark作业时,首先是基于某个数据源(比如Hive表或HDFS文件)创建一个初
2020-08-11 19:21:53 970
原创 datax同步mysql或sqlserver数据到hive之快速比对调整表结构脚本
需同步的mysql或sqlserver原表结构CREATE TABLE [dbo].[TravelOrderTOBody] ( [Id] char(21) COLLATE Chinese_PRC_CI_AS NOT NULL, [ParkId] int NOT NULL, [TravelOrderTOHeaderId] char(18) COLLATE Chinese_PRC_CI_AS NOT NULL, [CustomerId] bigint NULL, [AgencySa
2020-08-03 11:55:02 2011 1
azkaban已编译后的tar.gz包azkaban3.90_tar_gz.zip
2020-07-23
azkaban已编译后的zip包azkaban3.90.zip
2020-07-23
gradle-4.6-all组件.zip
2020-07-23
confluent实时同步sqlserver数据debezium-connector-sqlserver.zip
2020-03-20
websocket前端Demo.zip
2019-09-06
xshell与xftp多开窗口.zip
2019-09-06
shell之demo示例+学习指南
2017-06-13
Git安装包及下载安装说明
2017-06-12
MUI中文文档及包含demo
2017-06-05
MUI开发初学demo
2017-06-05
cdh6.3.2集成flink1.12.0所需要的编译好的包
2022-08-12
excel(xls或xlsx)便捷copy及poi操作demo.rar
2022-04-11
hdp集群从0到1搭建
2022-04-03
spire.xls.free-2.2.0.rar
2022-03-31
docker_hue_arm64.zip
2021-09-16
MobaXterm_Portable_v11.0_cracked.zip
2020-10-26
kudu与hbase组成底层图解.zip
2020-10-22
springboot集成phoenix/presto/tidb/redis各模式等组件demo.zip
2020-04-14
perl连接mysql或者oracle生成java实例perlCreateJavaClass.exe
2020-04-13
zabbix监控安装\预警\监控数据库等文档.docx
2020-01-20
HTMLTestRunner_PY3.zip
2019-11-08
mqtt前端客户端Demo.zip
2019-10-31
Spark2.2Doc API 中文参考文档
2019-09-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人