搭建hive调试环境

最新推荐文章于 2024-05-22 19:43:41 发布
VIP文章 最新推荐文章于 2024-05-22 19:43:41 发布
阅读量981 收藏
点赞数
分类专栏： hadoop 文章标签： Hive hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aimlecarol/article/details/9816883
版权

整理两年前的草稿


通过以下步骤在IDE上搭建Hive的编译、调试环境，从而深入学习hive： 

这里使用NetBeans编译并调试Hive（0.7.1） 
1. 新建Java应用程序项目
最低0.47元/天 解锁文章
糯米多排骨
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive环境搭建
01-20
九、hive环境搭建 1. bin/hdfs dfs -mkdir /tmp bin/hdfs dfs -mkdir -p /user/hive/warehouse bin/hdfs dfs -chmod g+w /tmp bin/hdfs dfs -chmod g+w /user/hive/warehouse 2.配置hive-env.sh HADOOP_HOME=...
大数据调试环境配置（4）：IDEA使用java api调试hive环境配置
小蚯蚓的博客
06-11 1027
一、目的 在开发过程中，不可避免需要在集群外部调试程序，以便快速开发，测试。 二、环境 1.IDEA 2.CDH 5.7.0（Hive、HADOOP） 三、步骤 1.创建Maven项目 2.加载对应CDH需求依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache....
hive源代码开发(一)--开发调试环境搭建
敲码的汉子
01-15 7013
需要阅读hive源代码了解hive运行原理 修改hive部分代码来达到业务需求 可以将hive源代码下载下来进行编译运行，在本地进行调试。 1.环境准备 开发需要在linux环境下 可以在本机上装一个ubuntu操作系统或者一个虚拟机都可以。有条件的同学可以在macbook上开发也可以 linux版本的eclipse 2.开发环境 hive2.3 jdk 1.7 mav
Mac系统搭建Hive源码远程调试环境
strongyoung的专栏
03-03 898
环境准备 JDK 这个一定需要，不管是Hadoop，还是Hive的运行，都依赖这个。 Hadoop Hadoop的安装比较简单，从官网下载一个包，解压，然后配置几个核心的xml就可以了。 Hive源码 从官网下载一个Hive的源码包，我下载的是3.1.1 Intellij IDEA 建议下载community版 Maven 编译Hive源码时需要 启动Hadoop 切换到Hadoop的安装目录...
Hive环境搭建(完整版)-配置
热门推荐
chun的博客
08-22 2万+
Hive部署： 前提： 在安装Hive之前，要求先： - 安装JDK 8 - 安装Hadoop-2.7.7 - 安装MySQL 5.6.x ！！！我这里主节点叫chun1，根据自己的进行修改 一、安装 1. 下载hive最新的稳定版本的包，并解压缩到用户主目录下： tar -xzvf apache-hive-2.1.5-bin.tar.gz 改名： mv apache-hive-2.1.5-bin...
Hive源码调试步骤
建模分析师胡选来
03-02 1942
1. 在centos6.5中下载eclipse: http://mirror.hust.edu.cn/eclipse//technology/epp/downloads/release/luna/SR2/eclipse-java-luna-SR2-linux-gtk-x86_64.tar.gz 2. 把hive mvn工程变为java工程 mkdir 
windows下hive环境搭建
曹健的博客
04-05 4587
先说一句，不建议在windows下搭建hive，感觉没必要，坑比较多，让我有了租云服务器的冲动！ 一、准备工作 之前我们已经安装好了hadoop，根据网上的教程，还需要一个hadoop.dll文件需要扔到hadoop的bin目录，git上可以找到。 hadoop可以正常启动。 二、安装hive 因为hadoop是2.7.7版本，我选...
Hive环境搭建
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 1088
本实验任务主要完成基于ubuntu环境的Hive环境部署、配置和调试工作。通过完成本实验任务，要求学生熟练掌握Hive环境部署方法，为后续实验的开展奠定Hive基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。了解hive的作用并熟练hive的配置过程（Msql数据库）本次环境是：Ubuntu16.04+jdk1.8.0Hive工具中默认使用的是derby数据库，该数据库使用简单，操作灵活，但是存在一定的局限性，hive支持使用第三方数据库，例如mysql，通过配置可以把
Linux搭建Hive开发环境
04-24
NULL 博文链接：https://mazhilin.iteye.com/blog/2421560
Hive的环境搭建配置文件
04-07
Hive的环境搭建配置文件
Mac 搭建 Hadoop和hive环境.pdf
07-23
手把手教你进行mac搭建hadoop和hive环境
基于大数据集群的hive搭建
10-30
最完整hive搭建说明文档，完全傻瓜模式，下载后，仔细认真，一步步操作
为WPF的Grid添加网格边框线
weixin_50478033的博客
05-22 329
为WPF的Grid添加网格边框线
【大数据篇】Hadoop：大数据处理的核心基石
shiranyyds的博客
05-20 1702
Hadoop决定创建一个由许多小伙伴组成的探险队，每个小伙伴都擅长处理不同类型的数据。他找到了擅长存储大量数据的“HDFS”（Hadoop Distributed File System），让它负责建造一个巨大的数据仓库，用来存放所有收集到的数据。接着，Hadoop又找到了擅长并行处理的“MapReduce”兄弟俩。Map哥哥负责将数据拆分成小块，让探险队的每个成员都能同时处理一部分数据；而Reduce弟弟则负责将处理完的数据汇总起来，形成最终的结果。在HDFS和MapReduce的帮助下，Hadoop
hadoop hdfs优势和缺点
qq_62383709的博客
05-22 225
hdfs优点 高容错性 适合处理大数据 可构建再廉价的机器上 hdfs缺点 不适合做低延迟数据访问 毫秒级的存储数据做不到 无法高效的对大量小文件进行存储 不支持并发写入 文件随机修改 一个文件只能有一个writer 不允许多个线程同时写 仅支持数据追加 不支持文件的随机修改 hdfs组织结构 namenode 就是master 他是一个主管 管理者 管理hdfs的名称空间 配置副本策略 管理数据块映射信息 处理客户端读写请求 datanode 就是slave namenode下达
Hadoop3：HDFS中DataNode与NameNode的工作流程
Brave_heart4pzj的博客
05-22 177
Hadoop
WPF hc:PropertyGrid 嵌套显示
最新发布
qq_59062726的博客
05-22 218
PropertyGrid嵌套显示，模仿Winform。
android高斯模糊填充imageview背景
cf8833的博客
05-21 421
说明：最近碰到一个需求，安卓app显示在线的url图片，然后imageview没占满的部分，使用该图片的模糊背景填充。
hive3.1.3环境搭建具体步骤
07-08
当搭建Hive 3.1.3环境时，以下是一些基本的步骤： 1. 安装Java：确保你的机器上已经安装了Java。Hive 3.1.3需要Java 8或更高版本。 2. 下载Hive：从Apache Hive的官方网站（https://hive.apache.org/downloads.html）下载Hive 3.1.3的二进制文件。 3. 解压文件：将下载的文件解压到你选择的目录中。 4. 配置环境变量：设置Hive的环境变量。在你的终端或命令提示符中，找到并编辑`~/.bashrc`或`~/.bash_profile`文件，并将以下内容添加到文件末尾： ```shell export HIVE_HOME=/path/to/hive export PATH=$PATH:$HIVE_HOME/bin ``` 然后运行`source ~/.bashrc`或`source ~/.bash_profile`使变量生效。 5. 配置Hadoop：Hive需要连接到一个Hadoop集群。在Hive目录中，进入`conf`文件夹，复制`hive-default.xml.template`并将其重命名为`hive-site.xml`。然后编辑`hive-site.xml`文件，设置以下属性： ```xml <property> <name>hive.execution.engine</name> <value>mr</value> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:derby:;databaseName=/path/to/metastore_db;create=true</value> </property> ``` 注意替换上述代码中的路径为你的Hadoop配置和元数据存储路径。 6. 启动Hive Metastore：在Hive目录中，执行以下命令启动Hive Metastore服务： ```shell schematool -dbType derby -initSchema ``` 这将初始化Hive Metastore的数据库。 7. 启动Hive CLI或Beeline：根据你的需求，可以使用Hive CLI（命令行界面）或Beeline（JDBC客户端）连接到Hive。执行以下命令启动Hive CLI： ```shell hive ``` 或者执行以下命令启动Beeline： ```shell beeline -u jdbc:hive2://localhost:10000 ``` 这将连接到本地的Hive服务。 这些步骤应该帮助你搭建Hive 3.1.3环境。根据你的需求，你可能还需要进行其他配置和调整。请参考Apache Hive的官方文档（https://cwiki.apache.org/confluence/display/Hive/Home）以获取更多详细信息和进一步的指导。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值