BigData Learning day 5 hadoop hive环境搭建

最新推荐文章于 2022-12-12 15:03:12 发布

tuzhg

最新推荐文章于 2022-12-12 15:03:12 发布

阅读量2.7k

点赞数

分类专栏： BigData linux

本文链接：https://blog.csdn.net/tuzhg/article/details/84720156

版权

linux 同时被 2 个专栏收录

6 篇文章 0 订阅

订阅专栏

BigData

4 篇文章 0 订阅

订阅专栏

参考实验楼里面很详细

https://www.shiyanlou.com/courses/38/labs/766/document

配置hive-site.xm的时候可以把他移动到/home/Code文件夹中然后下载下来直接移动到

$HIVE_HOME/conf中

配置好所有东西后

schematool -dbType mysql -initSchema

查看是否初始化成功，如果不能报错原因是

failed to load driver就是缺少驱动类，

运行

wget http://www.java2s.com/Code/JarDownload/mysql/mysql-connector-java-commercial-5.1.7-bin.jar.zip

然后解压到$HIVE_HOME/lib即可

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

tuzhg

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

[Spark基础]-- spark submmit大会(2017年6月5日 - 7日)

欢迎来到我的博客，一起探索代码里的世界！

05-03

3460

Spark Summit（2017年6月5日 - 7日，旧金山）议程发布 1、官方：http://spark.apache.org/news/spark-summit-june-2017-agenda-posted.html 2、议程：https://spark-summit.org/2017/schedule/ 3、报名：https://prevalentdesignevents.c...

Oozie工作流调度原理与代码实例讲解

热门推荐

weixin_43907316的博客

03-29

3万+

Hive之创建永久函数首先将我们写好的自定义函数打包上传到我们的HDFS上 hadoop fs -mkdir /user/hive/jars/ hadoop fs -put /opt/module/datas/1.jar /user/hive/jars/ 然后回到我们的hive中 create function small as 'com.qqhru.hive.LogUDTF' using jar '/user/hive/jars/1.jar'; 此时我们show 一下就可以看到我们刚才创建的方法细心

万字夜里爆肝，熬夜倾情奉献 Hive最最基础应用

悟道

09-12

1713

Hive流程文章目录Hive流程Hive与传统数据库对比Hadoop简介1.为什么使用Hive2.Hive是什么3.Hive具体内容4.Hive的存储格式5.Hive的重要特性6.Hive操作客户端7.Hive的Metastorejob执行流程8.Hive基础建表语法和加载数据Hive建表建表1：全部使用默认建表方式建表2：指定location （这种方式也比较常用）建表3：指定存储格式建表4：create table xxxx as select_statement(SQL语句) (这种方式比较常用)建

hive的初步使用

pengfeijiuwanli的博客

01-16

2348

Apache Hive 一、概述由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的HiveQL 语...

hive永久函数

ever_97的博客

07-27

2049

关于怎么创建临时函数以及永久函数就不赘述，网上一大片，说下永久函数的使用创建永久函数:createfunction函数名 as'包名'usingjar'hdfs路径对应的jar包'; 这个创建语句是有特定环境的，是在当前的数据库，而要在任何库下面使用这个函数，那么需要在函数名前面加上库前缀。比如在test库下创建了永久函数myudf,那么在其他库使用的时候语句格式为:select test.myudf ...

大数据：Hive3.x安装部署和配置

梁辰兴的博客

12-12

1545

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。

Hadoop环境大家(7)Hive搭建

Gaxxxx的博客

12-14

458

Hive搭建方法一此方法需在windows安装Mysql数据库 Hive搭建 1）将apache-hive-3.1.2-bin.tar.gz压缩包放在/opt/software路径下 2）、[root@hadoop100 ~]# cd /opt/software 3）、解压apache-hive-3.1.2-bin.tar.gz到/opt/module/路径下 [root@hadoop100 software]# tar -zxvf apache-hive-3.1.2-bin.tar.gz -

hadoop + hive 环境搭建

windows_oracle的专栏

01-20

261

年前事情不多，搭建一套hive平台。 1.首先下载安装包： hadoop-3.2.2.tar.gz jdk-8u271-linux-x64.tar.gz apache-hive-3.1.2-bin.tar.gz mysql-connector-java-5.1.48.tar.gz 以上包还包括mysql 因为本机已经装过，下面安装都是按照默认mysql 已安装为主。 2. jdk安装因为hadoop 3需要jdk 1.8 以上，下载1.8 即可。 3.其他安装流程...

分清big data,ML,AI之间的关系

06-01

4654

How are big data and machine learning related?（大数据与机器学习间关系）下面是回答： 1. Big data and machine learning are not related, but when used together can do real wonder. （没有直接联系，但是在一起效果更好）Machine Learning & Big

Learning Apache Spark 2

06-14

Asif has presented at various conferences and delivered workshops on topics such as Big Data, Hadoop, Teradata, and Analytics using Aster on Teradata and Hadoop. Asif is a Oracle Certified Java EE 5 ...

Spark开发环境搭建

总结、分享、交流

11-12

893

开发环境 Spark 2.4.4使用Scala2.12: Java安装 bash-3.2$ java -version java version "1.8.0_211" Java(TM) SE Runtime Environment (build 1.8.0_211-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed m...

hive技术分享

07-17

hive技术分享

hive 基本指令命令

ysy_1_2的博客

05-29

872

1.show databases 查看有那些数据库 2.创建park数据库,实际上hadoop的HDFS文件系统里创建一个目录节点,统一存在/usr/hive/wareshouse目录下 3.进入数据库 4.查看当前数据库下的所有表 5.创建stu表,以及相关的两个字段在hive中,用的是string,不用char和varchar,此外,所创建的表,也是HDFS里的一个目录节点。在hive里面有一个default数据库,这个hdfs目录结构上是看不到的,凡是在default数据库下建立的表,

hive

ghf183184的博客

02-04

564

1.查看表的详细属性信息【desc formatted】 hive> desc formatted 表名; OK 2.重命名表【Rename To】 对于内部表，除了更新表的元数据之外，还对表的目录名称进行修改。 对于外部表，这个操作只更新元数据，但不会更改存放数据的目录名称。 hive> alter table 旧表名 rename to 新表名; OK 3.添加新列【Ad...

Hive 操作数据库语句总结

似水流年

09-25

1万+

1、创建一个表，字段之间用 \t 分隔； hive>create table student (id int, name string) row format delimited fields terminated by '\t' ; 2、将本地一个数据提交到hive里去 hive>load data local inpat

分区读取参数错误_如何修复“警告：重新读取分区表失败，错误22：参数无效”在Linux上错误...

culunyi0802的博客

09-14

3080

分区读取参数错误If you are getting the following error while trying to change the default fat32 partition on a new drive to another linux partition type, I might have the answer for you. 如果在尝试将新驱动器上的默认fat32...

Hive - 简介和安装

myt0929的专栏

06-09

232

一、产生背景初代的hadoop的MapReduce写起来非常的麻烦。兼容RDBMS人员的“云化”，方便使用类SQL操作大数据集。二、架构根据上图可以知道，Hive的接口可以是命令行、JDBC（JDBC主要的作用就是去MySQL表中取结果信息）、Web等。一条Hive SQL会像一条SQL一样，语法解析，优化器优化，执行器执行。不同的事，执行器执行在分布式存储系统上（HDF...

Hive客户端工具dbeaver

qq_31866793的博客

11-30

1458

1，下载 2，顺着点击安装就可以。 3，安装之后新建连接 4， 5，输入hive 地址跟用户名密码。 6，配置Driver，我是直接去集群将hive lib下的包拷贝出来，添加 7，点击查询，选择 8，测试连接上之后就可以查询了，需要注意语法，可以先右键一个表查询SQL 复制出来。 ...

Mac上搭建Hadoop与Hive环境指南

该资源是一份关于在Mac操作系统上搭建Hadoop和Hive环境的教程。教程涵盖了从生成SSH密钥对、安装Hadoop到配置Hadoop环境变量以及设置Hive的基本步骤。在搭建Hadoop环境的过程中，首先提到了生成SSH密钥对，这是...