![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 79
敲代码的蒜子
岂是池中物
展开
-
本地DataXWeb代码发布至Linux
本地DataXWeb代码发布至Linux有时候会对DataXWeb进行更改,或者是二次开发,但是网上较少用本地的代码打包发布记录,这里记录下。文章目录本地DataXWeb代码发布至Linux一、环境准备1)Linux基础软件安装2 ) DataX Web安装包准备二、开始部署1)解压安装包2)执行一键安装脚本3)数据库初始化4 ) 配置5)启动服务6)查看服务(注意!注意!)7)运行一、环境准备1)Linux基础软件安装MySQL (5.5+) 必选,对应客户端可以选装, Linux服务上若安装m原创 2021-05-14 11:17:11 · 754 阅读 · 3 评论 -
浅测评DataX与Kettle
浅测评DataX与Kettle两者作为ETL的常用工具,实现数据从多个异构数据源加载到数据库或其他目标地址,是数据仓库建设和维护中的重要一环,也是工作量较大的一块。DataX与DataX的安装与使用这里就不介绍了,可以看:DataX安装与简单使用DataWeb的部署与使用文章目录浅测评DataX与Kettle一、简单介绍二、支持的主流数据源三、操作性KettleDataX四、功能性1.数据同步10万数据量的情况:100万数据量的情况2.数据清洗10万数据的情况100万数据的情况一、简单介绍Da原创 2021-05-12 18:15:09 · 12215 阅读 · 4 评论 -
kettle点击spoon.bat打不开
kettle点击spoon.bat打不卡今天好不容易下载好了kettle,却死活打不开,环境变量什么的都添加好了,这里总结下解决办法卡在这不动网上大部分会说是内存问题,修改jvm参数之类的,有可能是这个原因,但我不是。if “%PENTAHO_DI_JAVA_OPTIONS%”=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" “-Xmx2048m” "-XX:MaxPermSize=256m"修改为if “%PENTAHO_DI_JAVA_OPTIONS原创 2021-05-11 15:58:49 · 3803 阅读 · 1 评论 -
DataX Web部署使用说明
DataX Web部署使用说明DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的操作界面。clone地址:https文章目录DataX Web部署使用说明一、安装部署1、clone至idea,并打开bin/db目录下的datax_web.sql文件,选择库并执行。2、修改datax-admin的application.yml3、修改datax-executor的application.yml4、运行datax-admin与datax-executor二、DataX Web的使用原创 2021-05-11 14:48:22 · 3015 阅读 · 2 评论 -
hive执行流程(框架流程)
1.(执行查询操作)Execute Query命令行或Web UI之类的Hive接口将查询发送给Driver(任何数据库驱动程序,如JDBC、ODBC等)以执行。2.(获取计划任务)Get PlanDriver借助查询编译器解析查询,检查语法和查询计划或查询需求3.(获取元数据信息)Get Metadata编译器将元数据请求发送到Metastore(任何数据库)。4.(发送元数据)Send MetadataMetastore将元数据作为对编译器的响应发送出去。5.(发送计划任务)Send P原创 2021-05-11 13:40:13 · 546 阅读 · 0 评论 -
windows安装并简单使用datax
windows安装并简单使用datax文章目录windows安装并简单使用datax一、datax概述二、DataX框架设计三、DataX安装环境准备:1.JDK1.82.Python2.73.安装datax四、job.json文件一、datax概述DataX 是阿里开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。二、DataX框架设计DataX本身作为离线数据同原创 2021-05-11 13:35:17 · 2711 阅读 · 2 评论