Mac系统搭建Hive源码远程调试环境

最新推荐文章于 2023-01-22 08:58:09 发布
最新推荐文章于 2023-01-22 08:58:09 发布
阅读量908 收藏
点赞数 1
分类专栏： Java Hadoop Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/strongyoung88/article/details/88087917
版权
本文详细介绍了在Mac系统中如何搭建Hive源码的远程调试环境，包括准备JDK、Hadoop，下载Hive源码，使用IntelliJ IDEA和Maven编译源码，配置Hive与Hadoop，初始化元数据，启动Hive的debug监控，以及在IDE中设置远程调试配置。通过这些步骤，读者可以在开发环境中对Hive进行单点调试。
摘要由CSDN通过智能技术生成

环境准备

  • JDK
    这个一定需要，不管是Hadoop，还是Hive的运行，都依赖这个。
  • Hadoop
    Hadoop的安装比较简单，从官网下载一个包，解压，然后配置几个核心的xml就可以了。
  • Hive源码
    从官网下载一个Hive的源码包，我下载的是3.1.1
  • Intellij IDEA
    建议下载community版
  • Maven
    编译Hive源码时需要

启动Hadoop

切换到Hadoop的安装目录，然后输入命令sbin/start-all.sh，启动Hadoop
image.png

image.png

NameNode，DataNode进程都起来了，表示Hadoop启动成功。

编译源码

切换到hive源码的根目录，然后输入以下命令：
mvn clean package -DskipTests -Phadoop-2 -Pdist

这个过程稍微有点长，耐心等待，也可能会报各种错误，我有遇到过一个错，是说没有正确配置JAVA_HOME变量，然后使用以下命令解决了：

最低0.47元/天 解锁文章
strongyoung88
关注
专栏目录
mac下hive-1.2.2-src版本的编译
九师兄
07-20 689
1.下载 官网 2.导入IDEA，进行编译 mvn clean install -Phadoop-2,dist -DskinpTests -Dhadoop-23.version=2.7.1 -Dspark.version=1.4.1
mac下hive-2.2.0-src版本的编译
九师兄
07-20 826
1.下载 官网：http://archive.apache.org/dist/hive/ 下载 2.2.0版本的 2.导入IDEA，进行编译 lcc@lcc apache-hive-1.2.2-src$ mvn clean install -Phadoop-2,dist -DskinpTests -Dhadoop-23.version=2.7.4 -Dspark.version=1...
hive,spark的远程调试设置
weixin_30475039的博客
10-03 161
spark的远程调试 spark-env.sh文件里面，加上下面配置即可： if [ "$DEBUG_MODE" = "true" ]; then export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000" fi hive的远...
搭建hive调试环境
糯米多排骨的专栏
08-07 996
整理两年前的草稿 通过以下步骤在IDE上搭建Hive的编译、调试环境，从而深入学习hive：  这里使用NetBeans编译并调试Hive（0.7.1）  1. 新建Java应用程序项目  2. 导入需要调试的源包  3. 在库中添加hive目录lib下的所有jar、Hadoop项目依赖（无hadoop调试需求的也可以直接导入hadoop的core）、mysql库（如果跟我一样，
Hadoop2.7.2之Hive-2.1.1的Hiveserver2服务和beeline远程调试
wdier的博客
06-21 2256
1.开启metastore 和 hiveserver2服务 [root@sht-sgmhadoopnn-01 bin]# hive --service metastore & [1] 31092 [root@hadoop-01 bin]# hive --service hiveserver2 & [root@hadoop-01 bin]# ps -ef|grep hive root  
Hive使用Calcite CBO优化流程及SQL优化实战
zzzzMing -大数据/数据分析/数据挖掘
09-22 1305
文章目录Hive SQL执行流程Hive debug简单介绍Hive SQL执行流程Hive 使用Calcite优化Hive Calcite优化流程Hive Calcite使用细则Hive向Calcite提供元数据 上一篇主要对Calcite的背景，技术特点，SQL的RBO和CBO等做了一个初步的介绍。深入浅出Calcite与SQL CBO（Cost-Based Optimizer）优化 这一篇会从Hive入手，介绍Hive如何使用Calcite来优化自己的SQL，主要从源码的角度进行介绍。文末附有一篇其他
大数据基础环境搭建的从spark到hadoop,从底层硬件到上层软件的一些必备注意事项
muyannian的专栏
03-06 2570
一、硬件环境 硬件如何搭配，能做到比较高的性价比，不存在短板。合理的硬件搭配，对系统的稳定性也很关键。 1.CPU不是核数越高越好，性价比才是关键。       经常遇到很多的企业级客户，他们机器配置非常高，CPU有128 VCore，256G内存，但是只挂载了1块8T的SATA硬盘，千兆网卡。       这样的机器配置比较适合计算密集型的业务，但是如果是IO密集型的业务的话，就会发
[网络安全自学篇] 八十四.《Windows黑客编程技术详解》之VS环境配置、基础知识及DLL延迟加载详解（1）
杨秀璋的专栏
06-19 1万+
从这篇文章开始，作者将带着大家来学习《Windows黑客编程技术详解》，其作者是甘迪文老师，推荐大家购买来学习。作者将采用实际编程和图文结合的方式进行分享，并且会进一步补充知识点。第一篇文章主要包括两部分内容，开发环境（VS、编译设置）、基础技术、运行单一实例（互斥对象示例）、DLL延迟加载（skin++换皮肤示例）、资源释放（MFC示例）。希望对您有所帮助~
[网络安全自学篇] 九十三.《Windows黑客编程技术详解》之木马开机自启动技术（注册表、计划任务、系统服务）
热门推荐
杨秀璋的专栏
08-15 1万+
这是作者网络安全自学教程系列，主要是关于安全工具和实践操作的在线笔记，特分享出来与博友们学习，希望您喜欢，一起进步。这篇文章将带着大家来学习《Windows黑客编程技术详解》，其作者是甘迪文老师，推荐大家购买来学习。作者将采用实际编程和图文结合的方式进行分享，并且会进一步补充知识点。第四篇文章主要介绍木马病毒自启动技术，包括注册表、快速启动目录、计划任务和系统服务，希望对您有所帮助。
hive源代码开发(一)--开发调试环境搭建
敲码的汉子
01-15 7057
需要阅读hive源代码了解hive运行原理 修改hive部分代码来达到业务需求 可以将hive源代码下载下来进行编译运行，在本地进行调试。 1.环境准备 开发需要在linux环境下 可以在本机上装一个ubuntu操作系统或者一个虚拟机都可以。有条件的同学可以在macbook上开发也可以 linux版本的eclipse 2.开发环境 hive2.3 jdk 1.7 mav
大数据调试环境配置（4）：IDEA使用java api调试hive环境配置
小蚯蚓的博客
06-11 1045
一、目的 在开发过程中，不可避免需要在集群外部调试程序，以便快速开发，测试。 二、环境 1.IDEA 2.CDH 5.7.0（Hive、HADOOP） 三、步骤 1.创建Maven项目 2.加载对应CDH需求依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache....
Mac上Hive环境搭建
maxmao1024的博客
02-23 1025
[原文链接](https://www.cnblogs.com/micrari/p/7067968.html) 本文介绍在Mac上搭建Hive环境。 建议首先配置好Hadoop，搭建与配置可以参考我之前的博文Mac Hadoop的安装与配置。 当然你也可以选择使用Docker搭建环境，本文不作介绍。 安装 对于MacOs，推荐使用HomeBrew安装hive，一步到位。 $ brew install...
Hive源码编译及阅读修改调试
weixin_34101229的博客
03-25 352
为什么80%的码农都做不了架构师？>>> ...
【大数据】Hive 远程调试
最新发布
如切如磋，如琢如磨，臻于至善。
01-22 198
Hive远程debug调试，跟踪源代码，学习源代码，学习hive
mac下hadoop源码阅读环境搭建
荆棘鸟的博客
04-08 554
系统：mac os 10.14.4 hadoop版本：3.1.2 jdk版本：1.8 protobuf版本：2.5.0 maven版本：3.6.0 安装hadoop 3.1.2时，jdk版本务必是9.0以下，之前是9.0，结果编译的时候出错。 protobuf的版本也必须是2.5.0，版本过高同样在编译时会出错。 安装jdk 如果之前安装了其他版本的jdk，则先将其卸载，这里以9...
hadoop源码_Hive源码系列（一）hive2.1.1+hadoop2.7.3环境搭建
weixin_39801465的博客
11-22 140
这是一篇工具类的文章，工欲善其事必先利其器，要分析调试hive源码，必须搭建一套hive的运行环境。还记得第一次搭建hive源码调试环境，用了一个月的时间，才完全跑通整个调试过程。中间遇到各种各样莫名奇妙的问题，也有好多次想放弃，幸好坚持了下来。linux版本：centos 6.5Java版本：jdk1.8Hive版本：hive-2.1.1Hadoop版本：hadoop-2.7.31、Jdk环境安...
Hive 源码编译和调试
chuntongshen5917的博客
04-28 618
Hive 源码编译和调试 编译 下载hive源码，解压后，跳转源码目录执行命令 ： ** mvn clean compile -Phadoop-2 -DskipTests ** 编译完成后导入eclipse 或idea中 hive调试 命令 ： hive --debug 这个命令会开放端口 ...
如何 debug Hive 源码，知其然知其所以然
天道酬勤
01-17 389
最近在出差，客户现场的 HiveServer 在很长时间内不可用，查看 CM 的监控发现，HiveServer 的内存在某一时刻暴涨，同时 JVM 开始 GC，每次 GC 长达 1 分钟，导致很长时间内，整个 HiveServer 不可用。 查看 HiveServer 日志发现，在那个内存暴涨的时间点，执行了一个 select count(1) from table 的 SQL，这个表有 2 万多分区，而且执行了很多次。 但是我始终无法解释，这样简单的 SQL 执行过程是什么，MapReduce 的什么阶段
Mac上搭建Hadoop与Hive环境指南
该资源是一份关于在Mac操作系统上搭建Hadoop和Hive环境的教程。教程涵盖了从生成SSH密钥对、安装Hadoop到配置Hadoop环境变量以及设置Hive的基本步骤。 在搭建Hadoop环境的过程中，首先提到了生成SSH密钥对，这是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值