PD--SqlServer生成Hive建表语句

最新推荐文章于 2022-12-07 09:59:20 发布
最新推荐文章于 2022-12-07 09:59:20 发布
阅读量918 收藏 2
点赞数 1
文章标签： sqlserver hive microsoft
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangqiang2280/article/details/121019247
版权

1.编辑PowerDesigner16启动脚本

1.1本机安装JDK

在这里插入图片描述

1.2下载SqlServer驱动到本地

https://mvnrepository.com/

在这里插入图片描述

1.3编辑启动脚本并放置在PD16启动目录

在这里插入图片描述
startup.bat文件内容如下：

Set JAVA_HOME=D:\Program Files (x86)\JDK\bin
Set CLASSPATH = D:\docouments\drivers\sqlserver\mssql-jdbc-9.4.0.jre8.jar
pdshell16.exe

2.启用PD

双击startup.bat启动PD
在这里插入图片描述

2.1连接SqlServer数据库

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.2连接成功，选择数据库

在这里插入图片描述
在这里插入图片描述

2.3生成数据模型

在这里插入图片描述

3.数据转换

3.1更改数据类型

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

3.2生成Hive建表sql

在这里插入图片描述

王大器
关注
excel模板利用java自动生成hive建表语句、查询语句小程序
tanhaidi的博客
12-27 725
在日常数据开发过程中，会经常需要根据数据模型写建表语句，或者在表数据探索时写查询语句，每次写建表语句都会用几分钟的时间，于是打算做个excel模板，把表字段、表分区、表名写在里面，通过程序自动生成建表语句、查询语句。 我的上传资源有打包好的程序，如果嫌麻烦可以直接下载使用。 下面说一下具体步骤： （1）定制excel模板 A到C列是字段名，D到F列是分区列，H1是表英文名，H2是表中文名。 文档...
SQL必知必会47-如何利用SQL对零售数据进行分析？
最新发布
qq_53280238的博客
07-03 386
通过 SQL 完成机器学习往往还是需要使用到 Python，因为数据分析是 Python 的擅长。通过今天的学习你应该能体会到采用 SQL 工具作为数据查询和分析的入口是一种数据全栈的思路，对于开发人员来说降低了数据分析的技术门槛。如果你想要对机器学习或者数据分析算法有更深入的理解，也可以参考我的《数据分析实战 45 讲》专栏，相信在当今的数据时代，我们的业务增长会越来越依靠于 SQL 引擎 +AI 引擎。
生成hive建表语句
08-24
生成hive建表语句
sql同步自动生成hive建表语句及注释
08-08
基于oracle或者mysql生成自动建表同步源数据表结构及注释
利用mysql元数据自动生成hive建表语句
rourou8的博客
03-29 3437
数仓搭建的过程中，需要将业务数据导入到hive中，但是业务表较多，建表成为一个效率瓶颈。可以利用mysql的元数据库INFORMATION_SCHEMA ,其中COLUMNS和 TABLES这两张表记录了我们需要的表名，列名，comemnt等信息。 下面是生产中实际用到的一个案例sql，在使用时可以根据自己公司的规范进行修改： 可以往where table name中添加多张表，实现批量创建 SELECT CONCAT('create table if not exists ods.ods_',schema
mysql hive 建表语句_Mysql元数据如何生成Hive建表语句注释脚本详解
weixin_33726568的博客
01-19 416
前言本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍：最近在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时，需要同步mysql表中的注释，以下脚本可以生成hive表字段注释修改语句。注：其他关系型数据库如：oracle 可以通过相同的思路，读取元数据，修改脚本语法实现。使用：在mysql元数...
redis和sqlserver数据同步_数据库和redis同步数据
weixin_30359265的博客
12-30 2495
Redis主从复制1、什么是主从复制Redis持久化保证了即使redis服务重启也不会丢失数据，因为redis服务重启后会将硬盘上持久化的数据恢复到内存中，但是当redis服务器的硬盘损坏了可能会导致数据丢失，如果通过redis的主从复制机制就可以避免这种单点故障，如下图：说明：主redi...文章~信~仰~2016-09-034399浏览量Redis主从复制看这篇就够了什么是主从复制持久化保证了...
0636-6.1.1-Hue上SQL查询结果显示不全异常分析
Hadoop_SC的博客
09-22 1038
Fayson的github： https://github.com/fayson/cdhproject 推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f 1 异常重现 1.在Hive中准备一张表，一共5个字段，采用文本存储。 2.准备数据并导入到该Hive表中，注意我们准备的数据第四个字段即s4的值特别长，约有5000多个字符。 2018-12-11 14:53...
0640-6.1.1-Hue上SQL查询结果显示不全异常分析-补充
Hadoop_SC的博客
09-21 1338
Fayson的github： https://github.com/fayson/cdhproject 推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f 1 异常重现 1.在Hive中准备一张表，一共5个字段，采用文本存储。 2.准备数据并导入到该Hive表中，注意我们准备的数据第四个字段即s4的值特别长，约有5000多个字符。 2018-12-11 14:53...
pyspark 数据写入hive_pyspark读取和存入数据的三种方法
weixin_42466518的博客
12-23 2576
pyspark读取数据方法一：从hdfs读取# -*- coding: utf-8 -*from pyspark.sql import SparkSession, HiveContext,DataFrameWriterimport argparseimport timeimport numpy as npimport pandas as pdspark = SparkSession.builder...
Hive表生成工具，Hive表生成工具Hive表生成工具
03-10
Hive表生成工具，Hive表生成工具Hive表生成工具
在Oracle、MySQL中执行sql脚本生成hive建表语句
SunWuKong_Hadoop的博客
11-27 1059
业务需求：在没有sqoop的基础上，将oracle归集库的数据迁移至hive作为ods数据源，mysql数据库中的指标表迁移至hive作为dw层。 在MySQL中生成hive建表语句： #!/usr/bin/python # -*- coding: utf-8 -*- table_name = [ 'zzlq' ,'z_zzjgdw_base_info' ,'z_zzjg_base_inf...
SQL实现MYSQL到HIVE建表语句的转换（异构数据源DDL转换）
colby_chenlun的博客
08-29 6311
准备一张维度表：dim_ddl_convert，建表语句如下： CREATE TABLE dim_ddl_convert ( source VARCHAR(100) NOT NULL, data_type1 VARCHAR(100) NOT NULL, target VARCHAR(100) NOT NULL, d...
PowerDesigner批量创建Hive模型
minyaoleo的博客
12-07 832
PowerDesigner通过Excel批量创建Hive模型
用PowerDesigner建SQL server 2000表的方法
zengrizhang的专栏
02-11 1957
建立数据库表的关系，用PowerDesigner建立表的关系:1,打开PowerDesigner,单击new,探出new框,单击Physical Data Model,要用到的DBMS,在这里为:Microsoft SQL Server 2000,First diagram:Physical Diagram,要用到palette来设计;建完表后,要生成SQL语句, 单击Database ,下有Ge
sqoop sqlserver to hive
墨冰
03-18 360
–全量导入hdfs sqoop import –connect ‘jdbc:sqlserver://al-node3:1433;database=test’ –username sa --password 123 –table student –target-dir “/test” –delete-target-dir –split-by id -m 5 –增量 导入hdfs sqo...
SQLSERVER表字段转换成hive字段
yh_zeng2的博客
10-25 1907
select '`'+column_name+'`' colname, case when NUMERIC_PRECISION is not null and (data_type='decimal' or data_type='numeric') then 'decimal('+cast(NUMERIC_PRECISION as varchar)+'
hive如何生成数据字典
LookDreamGo的博客
12-22 3276
一、连接hive元数据库 执行下面sql即可 -- 查看hive里表和字段字典信息 -- 如果是用create table 的方式建的表，这里是查不到的。 -- 建的表必须要有表注释，否则查不出来。 select d.name as db_name -- 数据库名 ,c.tbl_name -- 表名 ,e.param_value as tbl_name_desc -- 表中文注释 ,a.integer_idx as column
读取文件生成hive建表语句
09-10
要读取文件并生成Hive建表语句，可以按照以下步骤进行： 1. 首先，需要确定文件的格式和字段的分隔符。一般来说，Hive支持多种文件格式，如文本文件（CSV、TSV等）、Parquet、ORC等。同时，还需要知道字段的分隔符...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值