Hive
文章平均质量分 66
G_scsd
决胜于千里之外,运筹于帷幄之中。
展开
-
hadoop上搭建hive
一、hive压缩包链接:https://pan.baidu.com/s/1RyJ2I4wUlVxgaGJXtIsBNw提取码:rrzz复制这段内容后打开百度网盘手机App,操作更方便哦二、hive配置1. 上传hive压缩包解 压: tar -xvf apache-hive-1.2.2-bin.tar.gz移动到 : mv apache-hive-1.2.2-bin /usr/local/hive2. 配置环境变量vi /etc/prof...原创 2020-05-17 16:08:53 · 303 阅读 · 0 评论 -
安装Hive及绑定MySQL
1. 将hive文件传输到Linux中hadoop用户目录下 然后将其解压至opt目录中 2. 解压好后进入其目录中,在一个conf目录下找到hive-default.xml.template这个文件,将其改名为hive-site.xml3. 接下来设置元数据库的数据地址、驱动、连接MySQL数据库的用户名密码、数据库存放位置等 vi 进入我们改名后的这个文件 ...原创 2018-04-14 21:59:08 · 458 阅读 · 1 评论 -
Hive简介
Hive是一个基于hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。Hive是Facebook 2008年8月刚开源的一个数据仓库框架,其系统目标与 pig 有相似之处,但它有一些Pig目前还不支持的机制,比如:更丰富的类型系统、更类似SQL的查询语...转载 2018-04-16 20:48:31 · 311 阅读 · 0 评论 -
在Linux中安装MySQL
1. 使用xshell和xftp将本地下载好的MySQL传输到Linux中,我的MySQL版本是 mysql57-community-release-el7-11.noarch.rpm2. 下载MySQL yum 仓库,并安装 yum install mysql-community-server -y rpm -Uvh mysql57-commu...原创 2018-04-11 21:47:34 · 470 阅读 · 0 评论 -
在spark中将数据插入到hive、parquet表中及用户定义函数
在spark中将数据插入到hive表 步骤: 1. 创建数据集的sparkdataFrame 这里使用的是TmpDF = spark.createDataFrame(RDD, schema)这种方法创建的 2. 将数据集的dataFrame格式映射到临时表 使用createOrRepl...原创 2018-04-21 16:15:19 · 7060 阅读 · 0 评论