weixin_40083227的博客

CREATE TABLE tmp.COSTITEM( NAME STRING,ORDERDATE DATE,COST STRING);– 数据加INSERT INTO tmp.COSTITEM VALUES (‘jack’,‘2020-01-01’,‘10’);INSERT INTO tmp.COSTITEM VALUES (‘tony’,‘2020-01-02’,‘15’);INSERT INTO tmp.COSTITEM VALUES (‘jack’,‘2020-02-03’,

.背景公司希望使用MongoDB作为后端业务数据库，使用Hadoop平台作为数据平台。最开始是先把数据从MongoDB导出来，然后传到HDFS，然后用Hive/MR处理。我感觉这也太麻烦了，现在不可能没有人想到这个问题，于是就搜了一下，结果真找到一个MongoDB Connector for Hadoop1.版本一定要按它要求的来，jar包去http://mvnrepository.com/下载就可以了，使用Hive只需要三个：mongo-hadoop-core-1.5.1.jarmongo-had

DDL 操作DDL•建表•删除表•修改表结构•创建／删除视图•创建数据库•显示命令建表：CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], …)][COMMENT table_comment][PARTITIONED BY (col_name data_type [COMMENT col_comment], …)][CLUSTERED BY (.

union 和unionallunion 纵向合并dataframeIn this Spark article, you will learn how to union two or more data frames of the same schema to append DataFrame to another or merge two DataFrames and difference between union and union all with Scala examples.Data.

需要安装hadoop和mysql(可以选择mariadb）brew install hive该命令默认安装的版本较新，我的是 hive最新3.1.2_1,安装位置：/usr/local/Cellar/hive/3.1.2_1环境变量,修改的是当前用户 vim ~/.bash_profileexport HIVE_HOME=/usr/local/Cellar/hive/3.1.2_1exp...

Hive数据导入导出的几种方式一，Hive数据导入的几种方式首先列出讲述下面几种导入方式的数据和hive表。导入：本地文件导入到Hive表；Hive表导入到Hive表;HDFS文件导入到Hive表;创建表的过程中从其他表导入;通过sqoop将mysql库导入到Hive表；示例见《通过sqoop进行mysql与hive的导入导出》和《定时从大数据平台同步HIVE数据到oracle》...

hive常用命令1、进入hive数据库：hive2、查看hive中的所有数据库：show databases;3、用default数据库：use default;4、查看所有的表：show tables;5、查询表结构：desc mytest（表名）;6、查询表数据： select * from mytest（表名）；7、创建数据库：hive> CREATE SCHEMA us...