hive 配置

最新推荐文章于 2024-06-13 10:30:00 发布
最新推荐文章于 2024-06-13 10:30:00 发布
阅读量492 收藏
点赞数
分类专栏： Spark系列教程 软件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhonglongshen/article/details/47680683
版权

什么是Derby安装方式
•Apache Derby是一个完全用java编写的数据库，所以可以跨平台，但需要在JVM中运行
•Derby是一个Open source的产品，基于Apache License 2.0分发
•即将元数据存储在Derby数据库中，也是Hive默认的安装方式
安装Hive
•解压Hive
•tar zxvf hive-0.8.1.tar /home/test/Desktop
•建立软连接
•ln –s hive-0.8.1 hive
•添加环境变量
•export HIVE_HOME=/home/test/Desktop/hive
•export PATH=….HIVE_HOME/bin:$PATH:.
配置Hive
•进入hive/conf目录
•依据hive-env.sh.template，创建hive-env.sh文件
•cp hive-env.sh.template hive-env.sh
•修改hive-env.sh
•指定hive配置文件的路径
•export HIVE_CONF_DIR=/home/test/Desktop/hive/conf
•指定Hadoop路径
• HADOOP_HOME=/home/test/Desktop/hadoop
hive-site.xml

javax.jdo.option.ConnectionURL
jdbc:derby:;databaseName=metastore_db;create=true
JDBC connect string for a JDBC metastore

javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Driver class name for a JDBC metastore javax.jdo.option.ConnectionUserName APP username to use against metastore database javax.jdo.option.ConnectionPassword mine password to use against metastore database
老三是只猫
关注
专栏目录
MySQL安装 卸载MySQL Hive安装与配置 MySQL Connector/J安装 启动hive Hive应用实例：wordcount
qq_39968384的博客
05-13 599
MySQL安装 ①官网下载mysql-server（yum安装） wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm 若wget不可用，下载安装wget：yum -y install wget ②解压rpm -ivh mysql-community-release-el7-5.noarch.rpm ③安装yu...
hive配置相关文件.zip
10-14
这个"hive配置相关文件.zip"压缩包包含了构建和配置Hive环境所需的几个关键组件，以及一个配置文件，这对于初次接触或者需要调整Hive环境的人来说非常有用。接下来，我们将详细探讨这些组件和配置文件的作用。 1. *...
hive配置
github_31804537的博客
04-19 354
今天花了一个上午配置hive，途中遇到太多的坑，最后总算配置成功了 第一个坑就是我的文件夹是没有hive-default.xml，但他给了hive-defualt的template所以要先输入下面命令cd /usr/local/Cellar/hive/2.1.9/libexec/conf;cp hive-dfault.xml.template hive-defalut.xml,没有这个文件即使配置
hive安装过程中的各种深坑深坑
qiaobiao的博客
08-12 2561
一、Exception in thread “main” java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: KaTeX parse error: Expected '}', got 'EOF' at end of input: …a.io.tmpdir%7D/%7Bsystem:user.name%7D 原因是： <property> <na
Hive配置
最新发布
weixin_62982569的博客
06-13 2538
hive部署
hive配置文档
jtpython666的博客
03-17 2766
在这里插入代码片 Hive的参数设置方式 1、配置文件 （全局有效） 2、命令行参数（对 hive 启动实例有效） 3、参数声明 （对 hive 的连接 session 有效） （1）配置文件 Hive 的配置文件包括： A.　用户自定义配置文件：$HIVE_CONF_DIR/hive-site.xml B.　默认配置文件：$HIVE_CONF_DIR/hive-default.xml 用户自定义配置会覆盖默认配置。 另外，Hive 也会读入 Hadoop 的配置，因为 Hive 是作为 Hadoop 的
hive配置日志路径
weixin_41877582的博客
12-09 1909
1、进入到hive的conf目录下 2、hive-log4j2.properties.template 文件修改 hive-log4j2.properties 3、vim 打开文件 4、property.hive.log.dir = /opt/module/hive/logs（日志文件路径）
Hive 配置参数大全
yang灬仔
09-11 2924
hive.ddl.output.format：hive的ddl语句的输出格式，默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置； hive.exec.script.wrapper：hive调用脚本时的包装器，默认是null，如果设置为python的话，那么在做脚本调用操作时语句会变为python <script command>，null的话就是直接执行&lt...
HIve安装配置（超详细）
热门推荐
W_chuanqi的博客
04-19 6万+
文章目录Hive安装配置一、Hive安装地址二、Hive安装部署1. 把 `apache-hive-3.1.2-bin.tar.gz`上传到Linux的/export/software目录下2. 解压`apache-hive-3.1.2-bin.tar.gz`到/export/servers/目录下面3. 修改`apache-hive-3.1.2-bin.tar.gz`的名称为hive4. 修改/etc/profile，添加环境变量5. 初始化元数据库（默认是derby数据库）三、MySQL安装1. 安装M
hive配置教程详解
qq_45973003的博客
07-07 1840
使用到的工具 xshell centos7 xtpf apache-hive-2.3.6-bin mysql的驱动 第一步：将下载好的hive安装包上传到/usr/local目录下解压 解压命令 tar -zxvf apache-hive-2.3.6-bin.tar.gz 将解压的文件改名 mv apache-hive-2.3.6-bin /usr/local/hive 第二步：配置hive的环境变量 命令 vim /etc/profile 命令 export HIVE_HOME=/usr/lo
hive 配置文件
03-03
- **`HIVE_CONF_DIR`**: Hive配置文件的目录，通常包含`hive-site.xml`。 - **`JAVA_HOME`**: Java的安装目录，Hive是用Java编写的，所以需要Java环境。 - **`HIVE_AUX_JARS_PATH`**: 用于指定额外的JAR文件路径，...
Hive配置(Oracle数据库为元数据)
09-27
### Hive配置(Oracle数据库为元数据) #### 一、概述 Apache Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce ...
hive配置文件信息修改
07-13
虽然DataX的配置通常在JSON格式的配置文件中完成，但与Hive、Hadoop和Spark的集成可能会涉及上述组件的配置调整，以确保数据传输的效率和正确性。 总的来说，理解和灵活调整这些组件的配置文件信息对于优化大数据...
spark读取Oracle教程
左手coding，右手cooking
06-18 5256
一、pom.xml中配置 <dependency> <groupId>com.oracle</groupId> <artifactId>ojdbc6</artifactId> <version>11.2.0.3</version> </dependency> 二、show the code...
hdfs 如何列出目录下的所有文件
左手coding，右手cooking
05-22 2606
import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.FileStatus; import org.apache.had
用python实现Hive中的UDF函数
左手coding，右手cooking
06-19 1852
简介 hive为我们提供了众多的内置函数，但是在实际的运用过程中任然不能满足我们所有的需求，hive是用Java开发的，本身提供了使用Java去开发udf的方式，而这里我们采用python的方式实现udf函数。 demo实现 数据准备 我们再hive上创建一个external表，代码如下 create external table person( name string, idcard strin...
XLSX上传到hive
左手coding，右手cooking
06-19 1230
Excel文件创建HIVE表 步骤一：将excel另存为txt文档（文本文件（制表符分割））假设名字为a.txt 步骤二，将该txt文件导入shell内指定目录中 步骤三，转换编码格式，在指定目录下执行如下命令： piconv -f gb2312 -t UTF-8 a.txt > c.txt 步骤四，根据文档中的列，创建表，建表语句如下： use dw_htlbizdb ; drop ...
hadoop distcp
左手coding，右手cooking
07-27 1169
很久没有写了，感觉最近比较浮躁，现在实习了要静下心来 好好学点东西。公司在做集群迁移的项目，在项目中遇到 一个问题，怎么把一个集群的数据拷贝到另个集群中Hadoop数据迁移（集群内迁移，集群间迁移），主要通过拷贝数据来完成。对于小量数据，可以使用”hadoop fs -cp”来完成；对于大量数据，可以借助Distcp 来完成。Distcp是Hadoop自带的分布式拷贝工具。它基于MapReduce实
sparksql hive 配置
08-12
要在 Spark SQL 中使用 Hive，您需要进行以下配置： 1. 在 Spark 配置中启用 Hive 支持。在 Spark 的配置文件中（如 spark-defaults.conf 或 spark-env.sh），添加以下配置： ```shell spark.sql.catalogImplementation=hive ``` 2. 确保您的 Spark 安装与 Hive 版本兼容。Spark 需要与 Hive 使用相同版本的 Metastore。 3. 将 Hive 的配置文件 hive-site.xml 复制到 Spark 的配置目录中。这将确保 Spark 使用正确的 Hive 配置。 4. 如果您的 Hive 安装使用了远程 Metastore，需要在 Spark 配置中设置 Metastore 的连接信息。在 Spark 的配置文件中添加以下配置： ```shell spark.hadoop.javax.jdo.option.ConnectionURL=jdbc:mysql://<metastore-host>:<metastore-port>/<database-name>?createDatabaseIfNotExist=true spark.hadoop.javax.jdo.option.ConnectionDriverName=com.mysql.jdbc.Driver spark.hadoop.javax.jdo.option.ConnectionUserName=<metastore-username> spark.hadoop.javax.jdo.option.ConnectionPassword=<metastore-password> ``` 将 `<metastore-host>`、`<metastore-port>`、`<database-name>`、`<metastore-username>` 和 `<metastore-password>` 替换为相应的值。 5. 如果您的 Hive 安装中使用了自定义的额外 JAR 文件，您需要将这些 JAR 文件添加到 Spark 的类路径中。在 Spark 的配置文件中添加以下配置： ```shell spark.driver.extraClassPath=<custom-jar-path1>:<custom-jar-path2>:... spark.executor.extraClassPath=<custom-jar-path1>:<custom-jar-path2>:... ``` 将 `<custom-jar-path1>`、`<custom-jar-path2>` 等替换为实际的 JAR 文件路径。 完成以上配置后，您就可以在 Spark SQL 中使用 Hive 的功能，包括使用 Hive 的表、执行 Hive 查询和使用 Hive UDF/UDAF 等。请确保 Spark 集群中所有的节点都进行了相同的配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值