- 博客(8)
- 资源 (55)
- 收藏
- 关注
原创 Hive数据导出的三种方式
导出到HDFSINSERT OVERWRITE DIRECTORY '/user/hive/warehouse/02' row FORMAT DELIMITED fields TERMINATED BY ',' stored as textfile SELECT * from airline; 导出到本地INSERT OVERWRITE LOCAL DIRECTORY '/root/...
2018-07-30 10:49:14 771
原创 Hive Union操作中的隐式转换
语法:select_statement UNION [ALL | DISTINCT] select_statement UNION [ALL | DISTINCT] select_statement …用来合并多个select的查询结果,需要保证select中字段须一致,每个select语句返回的列的数量和名字必须一样,否则,一个语法错误会被抛出。从语法中可以看出UNION有两个可选的...
2018-07-20 19:32:41 621
原创 Hive从一个表向另一个表插入数据的注意事项
使用insert into table <table_name> select语句执行数据迁移时,必须保证前后两个表字段数量一致。测试场景:当前存在表wht_test1,表结构以及数据如下所示:测试步骤1.创建表wht_test2,并在末尾增加一个字段。create table if not exists wht_test2 like wht_test1;a...
2018-07-16 21:29:14 16845
原创 Sqoop导出模式——全量、增量insert、更新update的介绍以及脚本示例
背景信息SQOOP支持直接从Hive表到RDBMS表的导出操作,也支持HDFS到RDBMS表的操作,当前需求是从Hive中导出数据到RDBMS,有如下两种方案:Ø 从Hive表到RDBMS表的直接导出:该种方式效率较高,但是此时相当于直接在Hive表与RDBMS表的数据之间做全量、增量和更新对比,当Hive表记录较大时,或者RDBMS有多个分区表时,无法做精细的控制,因此暂时不考虑该方案。Ø ...
2018-07-10 20:32:08 20222
原创 sqoop导出数据时如何选择update-key
在增量导出模式下,无论是allowinsert模式还是updateonly模式,都需要设置update-key:Ø allowinsert模式:该模式下生成的是insert语句,从这个角度讲update-key是没有作用的,但是在CDH Sandbox上测试时发现,如果不指定update-key则会导致reduce执行失败。Ø updateonly模式:该模式下生成的是update语句,upd...
2018-07-09 21:10:48 9421
原创 SQOOP 导出Hive数据到MySQL
基本知识:Sqoop导出的基本用法:https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_syntax_4 的10. sqoop-export内容摘要:本文主要是对--update-mode参数的用法进行了验证。结论如下:--update-mode模式有两种updateonly(默认)和allowinsertupdateonly:该模式...
2018-07-08 12:31:52 64621 10
原创 Azkaban的编译与安装
安装环境CentOS 7(使用的虚拟机镜像为CentOS-7-x86_64-DVD-1611.iso),环境是干净的,未做过其它配置安装说明本次安装为solo-server模式,不需要独立部署数据库。安装前提需要Oracle JDK说明:该镜像中自带Open JDK,但是不安装Oracle JDK会造成编辑失败(找不到tool.jar等错误)。因此需要先安装Oracle JDK,并配置相应的环境变...
2018-07-03 21:23:26 1624
原创 查看各类型数据库版本的SQL(Oracle/DB2/SQL Server/PG/MySQL)
Oracle查询语句:select * from v$version;查询结果:BANNEROracle Database 11g Express Edition Release 11.2.0.2.0 - 64bit ProductionPL/SQL Release 11.2.0.2.0 - ProductionCORE 11.2.0.2.0 ProductionTNS for Li...
2018-07-02 18:53:36 4646
02-谷歌AutoML.rar
2020-08-07
Jupyter Notebook Cheatsheet.pdf
2019-12-11
Acsiidoc 示例文件--用于快速学习asciidoc语法
2019-04-03
基于asciidoc的产品文档大纲规划-中文版本
2019-03-18
Kylo调研总结
2018-10-16
Hive数据文件以及CLI操作命令
2017-09-18
mysql-connector-java-5.1.31-bin.ja
2017-09-18
全息三维显示技术概览,是一个学习笔记,对立体视觉原理、常见的显示和采集技术有个粗略的整理
2023-03-03
Innovate2020_人工智能与机器学习_AI+基础架构资源的演进与选择CPU,+GPU,+ARM+和+ASIC
2022-02-25
AI与机器学习计算手册
2022-02-25
5G超高清新场景白皮书
2021-08-05
常见机器学习模型可视化展示效果
2021-08-03
AI开发平台-百度BML&华为ModelArts&阿里PAI&腾讯TAI&亚马逊SageMaker调研对比.pdf
2021-08-03
深度学习在各场景下的评估指标
2020-03-17
视频分类数据集dance和driving
2020-03-17
序列标注sample-text-seq-annotated-iob.zip
2020-03-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人