工良出品：包教会，Hadoop、Hive 搭建部署简易教程

最新推荐文章于 2023-11-15 13:50:03 发布
最新推荐文章于 2023-11-15 13:50:03 发布
阅读量409 收藏 3
点赞数
文章标签： hadoop hive 大数据 分布式 数据仓库
原文链接：https://mp.weixin.qq.com/s?__biz=MzAwNTMxMzg1MA==&mid=2654095789&idx=8&sn=6e691d1cb00fa386dfba1071c9aa22d8&chksm=80d86df8b7afe4ee3943634998911a4268b9efff0b0b255e622187fbd38e36a75fba137d51ed&scene=126&sessionid=0
版权

目录

  • 导读

    • Hadoop、Hive 是什么

  • 运行环境

    • hive-env.sh

    • hive-site.xml

    • core-site.xml

    • hdfs-site.xml

    • mapred-site.xml

    • yarn-site.xml

    • hadoop-env.cmd

    • Java 环境

    • Mysql

    • 下载 Hadoop、Hive 和 驱动

    • 安装 Hadoop

    • 启动 Hadoop

    • 安装 Hive

    • 配置 Hive

    • 运行 Hive

    • 连接到 Hive

导读

最近一个数据分析朋友需要学习 Hive，刚好我也想学，便利用手头的服务器搭建一个学习环境，但是搭建过程中，发现网上的教程很多过时了，而且部署过程中，很多地方走不通，博主也没有给出对应的说明。花了大力气才从各种资料中完成 Hadoop、Mysql、Hive 三者的部署。

因此，本文记录在 Windows 下部署三者的过程以及如何解决部署过程中出现的问题，减少读者折腾消耗的时间。

Hadoop、Hive 是什么

由于 Hadoop、Hive 都是 Java 编写的程序，因此在 Windows 、Linux 下的部署是差不多的，最重要的是配置 Hadoop、Hive 的配置文件，在 Windows、Linux 配置方式是相同的，过程也是一致的。所以在 Windows 学习配置后，在 Linux 下也适用。

本文之所以使用 Windows 部署，是因为笔者在 Linux 下部署屡次失败，前后重新部署了几次，花掉了大量时间，最后使用 Windows 部署，折腾好久之后终于成功。

不愧是 Java，屎环境又配置了一天。

首先有一个疑问，为什么学习 Hive，还要部署 Hadoop、Mysql？

在一开始笔者就不理解，初入门学习，为什么要部署这么多东西呢？

在 Google 很多资料之后，笔者发现这得先了解 Hadoop 和 Hive 是什么玩意儿开始说起。

首先是 Hadoop，看文档对 Hadoop 的描述：

“Hadoop 是一个开源软件框架，用于在分散式运算环境中存储和处理大量数据。它旨在处理大数据，并基于 MapReduce 编程模型，该模型允许并行处理大数据集。”

读者可以从这里了解 Hadoop 到底是啥玩意儿：https://aws.amazon.com/cn/emr/details/hadoop/what-is-hadoop/

也就是说，首先 Hadoop 可以存储大量数据，这不就是数据库么，只不过它的特点是为分布式而生，可以在不同服务器上存储数据。接着， Hadoop 还可以处理大量数据。

总结起来就是，Haddop 具有两大功能：存储、处理大数据。

实现这两大功能，是通过 HDFS 存储大量数据、MapReduce 并行计算数据，两大组件完成的。

HDFS：一个在标准或低端硬件上运行的分布式文件系统。

MapReduce：对数据运行并行计算的框架。这个东西学习成本高。

另外 Hadoop 为了维护集群，还需要管理与监控集群节点和资源使用情况，所以还需要使用 YARN 组件。

在入门阶段，我们并不需要了解 HDFS、MapReduce 有多牛逼，我们只需要知道 HDFS 是用来存储数据的，MapReduce 是用来计算数据的即可。

既然 Hadoop 自己就可以存储、计算数据，那么还要 Hive 这些东西干嘛？

原因是：Hadoop 生态系统包含众多工具和应用程序，可用来帮助收集、存储、处理、分析和管理大数据。

也就是说，基于 Hadoop 的基础能力，Spark、Hive、HBase 等工具可以对 Hadoop 进行扩展，提供对开发者来说更加容易使用的方式，简化使用成本。

Hadoop 没有提供 SQL 支持，而 Hive 提供了通过 SQL 界面使用 Hadoop MapReduce 的方式。所以，我们要安装 Hive，才能通过 SQL 去使用 Hadoop。

在 Hive 中，它提供类似 SQL 的接口来处理/查询数据，称为 HiveQL。Hive 会将 HiveQL 查询转换成在 Hadoop 的 MapReduce 上，完成对数据的处理。但是Hive 可以将数据存储在外部表中，所以可以不使用 HDFS，Hive 还支持其他文件格式，如 ORC、 Avro 文件、文本文件等。

了解完 Hadoop、Hive 之后，再来看看另一个问题，为啥还需要安装 Mysql 呢？

原因是需要存储与 Hive 相关的元数据(列名、数据类型、注释等)，Hive 通过 Metastore 组件来实现存储元数据，Metastore 需要一个存储后端才能存储这些元数据，Hive 本身附带了 derby 数据库，但是这个 derby 数据库并不是一个出色的数据库，因此我们可以使用 MySQL 或 PostgreSQL 来存储 Hive 的元数据。

如果只是学习使用，并不需要安装 Mysql 或 PostgreSQL。

运行环境

搞懂 Hadoop、Hive、Mysql 之间的关系之后，我们开始下载各种东西，提前做好准备给 Hadoop、HIve 运行的环境。

Java 环境

首先安装 Java 运行环境，请一定使用 Java8，经过大量踩坑之后，笔者才发现 Java 11 运行 Hive 最后一步会爆炸， Windows 、Linux 都是如此。

下载 Java8 地址：

官网地址： https://www.oracle.com/java/technologies/javase/jdk11-archive-downloads.html
国内华为镜像站点： https://repo.huaweicloud.com/java/jdk/

点击 jdk-8u202-windows-x64.exe 下载安装包。

下载后，点击 .exe 文件进行安装。

请一定不要安装到有空格的目录，如：C:\Program Files\Java。

目录一定不能带有空格。

安装目录路径尽可能简单，例如，笔者安装到了 E:\Java。

8129a72dfd6edb77a6ffd8adfdc9c4b2.png

接着，添加环境变量 JAVA_HOME ：

83a7a7225237fa8574dbd503bf4e1e6b.png

添加 Path 环境变量：E:\Java\jdk1.8.0_202\bin

558b9c90e448c5ef07120c4a46db29da.png

然后打开 cmd，执行 java -version，确保 Java8 已经被成功安装。

Mysql

大多数教程都是在安装 Hive 时，穿插安装 Mysql，搞得安装的时候莫名其妙的，思路容易断。。。

所以，我们可以提前装好 Mysql，设置好账号密码，配置 Hive 的时候可以一步到位。

安装 Mysql 的方法有很多，不尽相同，读者可以参考别的文章安装 Mysql，可以根据其它资料以最简单的方法安装。

下载 Mysql 安装包不能直接运行，需要先安装 Microsoft Visual C++ Redistributable，点击此链接找到对应 x64 的安装包地址：

https://learn.microsoft.com/en-us/cpp/windows/latest-supported-vc-redist?view=msvc-170

ab56b1c45926cc50ba8a1d9d122140c6.png

点击 VC_redist.x64.exe 开始安装。

接着通过国内的华为镜像站点加速下载 Mysql：
https://mirrors.huaweicloud.com/mysql/Downloads/MySQL-8.0/

找到 mysql-8.0.24-winx64.msi ，点击下载。

f530bf873c65ac9b9a7d23bb8726a97c.png

ae3aa58713587c4b8ab1ac3f15dec28f.png

安装 Mysql 之后，需要找到安装位置，然后添加到环境变量 Path 中，如：

C:\Program Files\MySQL\MySQL Server 8.0\bin

ce5dc4598074b2ed02422619dcf8a905.png

接着执行命令初始化 Mysql 服务：

mysqld --install
mysqld --initialize --user=mysql --console

执行命令之后，请注意控制台输出的 Mysql 随机密码！

如果安装出现其他问题，可以试试：

mysqld --initialize --user=mysql --console
sc delete mysql
mysqld -install

执行命令之后，请注意控制台输出的 Mysql 随机密码！

然后执行 net start mysql 命令，启动 Mysql 引擎，让其在后台运行。

然后使用工具连接 Mysql 数据库：

793fdb49a03300c2f9eac33e3c8c92b6.png

创建一个名称为 hive 的数据库，其字符集使用 latin1。

126f7f9c54ef5a7d6006336d407cf232.png

下载 Hadoop、Hive 和 驱动

接下来先点击下面的链接把文件下载好，不急于安装。

下面提供一些国内镜像源，方便下载。

下载 hadoop ：
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/

笔者当前版本是 3.3.4。

下载 hive：
https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.3/

下载 Windows hive 支持
https://github.com/HadiFadl/Hive-cmd

后面再解释为什么要下载这个。

下载 Mysql Java 驱动
https://downloads.mysql.com/archives/c-j/

Hive 连接 Mysql 需要一个 Mysql 驱动，打开页面后，选择 Platform Independent，然后下载其中一种压缩包即可。

90f5fa7c64af96cfcf2fd53681e9e88d.png

安装 Hadoop

将压缩包解压到目录中，请不要使用带空格的目录，解压目录不宜太深，路径越短越好。

a009329e0b8ae6a7586d3c27dae6f262.png

然后添加一个 HADOOP_HOME 环境变量：

6585eabcb766f811b0e1417c06447e0f.png

然后添加 Path 环境变量：

439aa6abfd50b69b348db3a36b30ecff.png

接着打开 https://github.com/cdarlint/winutils ，下载压缩包：

3046becea689bd7596defb33506e7a60.png

Hadoop 要在 Windows 下运行，需要 winutils.exe 、hadoop.dll 、hdfs.dll，这个仓库中包含了 Hadoop 在 Windows 下运行所需要的一些依赖。

解压后，找到最新版本的目录（不一定跟你下载的 Hadoop 版本一致），将 bin 目录中的所有文件，复制到 Hadoop 的 bin 目录中。

db62635732843d623b2128ce32d3574d.png

然后将 hadoop.dll 复制放到 sbin 和 C:\Windows\System32 中。

317ab4abe281953851fc74feb8ecbcd9.png

接下来需要修改五个配置文件，文件都在 etc\hadoop 目录中。

.xml 文件的配置都是空的：

<configuration>
</configuration>

复制下面的配置直接替换再编辑即可。

core-site.xml

直接替换，不需要修改：

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>
hdfs-site.xml

复制内容进行替换：

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.http-address</name>
		<value>localhost:50070</value>
	</property>
	<property>
		<name>dfs.namenode.dir</name>
		<value>/E:/hadoop-3.3.4/data/dfs/namenode</value>
	</property>
	<property>
		<name>dfs.datanode.name.dir</name>
		<value>/E:/hadoop-3.3.4/data/dfs/datanode</value>
	</property>
</configuration>

里面有两个地址需要替换。

首先到 Hadoop 目录下，依次创建 data/dfs/namenode，data/dfs/datanode 目录。

然后替换到上面即可，注意前面有个 / 开头。

俺也不清楚这个为啥要加上 / 。

实际上好像创建了这些也没用。

笔者根本没有创建这两个目录也可以运行 Hadoop。

mapred-site.xml

直接替换即可。

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapred.job.tracker</name>
		<value>hdfs://localhost:9001</value>
	</property>
</configuration>
yarn-site.xml

直接替换即可。

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>
hadoop-env.cmd

找到 set JAVA_HOME=...，改成：

set JAVA_HOME=E:\Java\jdk1.8.0_202

如果没有记录，就在最后一行加上此命令。注意替换地址为 jdk 安装目录。

有就改，没有就新增。

启动 Hadoop

打开 powershell 或 cmd，执行命令格式化节点：

hdfs namenode -format

然后到 sbin 目录，先点击 start-dfs.cmd，跑起来之后再点击 start-yarn.cmd。

如果跑起来没有报错，那么下次可以使用 start-all.cmd 一次性启动，不需要再分开启动。

启动之后，会有四个窗口。

61e853bef10966715ba218237d87a492.png

然后打开文件存储系统界面：

http://localhost:50070/dfshealth.html#tab-overview

打开集群管理界面：

http://localhost:8088/cluster

接着，先关闭所有窗口，以便停止 Hadoop。

然后打开 powershell 或 cmd，执行以下命令，以便后面为 Hive 提供数据存储。这一步并不影响 Hadoop，而是为了 Hive 运行而添加的。

hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/
hadoop fs -mkdir /user/hive/
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

然后再运行 start-all.cmd，让四个窗口一直挂在后台。

安装 Hive

将 Hive 压缩包解压，然后配置环境变量 HIVE_HOME。

1c39f9d39b86f9e13650ec53b8e2cba7.png

接着配置 Path：

1a21e69f016b830b3ffa0eb4e7ce140e.png

因为本文使用 Mysql 存储 Hive 的元数据，因此需要给 Hive 配置 Mysql 的驱动。

将下载的 Mysql java 驱动解压，找到 mysql-connector-j-8.0.31.jar 文件复制放到 lib 目录中。

791ee9882fcba990b1331148e1cc4f63.png

f24328f7a96017e09cda564efb0119b8.png

Hive 只做了 Linux 启动脚本，官方并没有支持在 Windows 下运行，因此，必须自己添加 Windows Hive 运行脚本和文件。

解压前面从 https://github.com/HadiFadl/Hive-cmd 下载的文件，将 Hive-cmd-master/bin 目录下的所有文件和目录复制到 Hive 中的 bin 目录下。

cc373befad0a1ddb09a2771647b4c3c9.png

c49980108dc2b6332a9f8a3f56c91272.png

配置 Hive

打开 Hive 的 conf 目录。

复制四个模板文件，并修改为新的名称：

如果已经存在新名称的文件，则直接编辑即可。

如果没有找到对应的模板文件，直接创建新的名称文件即可。

原名称新的名称
hive-default.xml.templatehive-site.xml
hive-env.sh.templatehive-env.sh
hive-exec-log4j2.properties.templatehive-exec-log4j2.properties
hive-log4j2.properties.templatehive-log4j2.properties
hive-env.sh

添加三行：

HADOOP_HOME=E:\hadoop-3.3.4
export HIVE_CONF_DIR=E:\apache-hive-3.1.3-bin\conf
export HIVE_AUX_JARS_PATH=E:\apache-hive-3.1.3-bin\lib

需要修改 Hive 目录地址。

如果文件不存在，直接创建并添加三行内容即可。

hive-site.xml

这个文件要修改的地方太多，而且这个文件有几千行，所以修改的时候需要注意别改错，查找的时候要复制名称直接搜索。

笔者下面给出了 <property> ... </property> 标签，读者替换的时候，只需要替换 <value> ... </value> 中的内容即可，并不需要将整个内容替换过去。

首先在 Hive 目录下创建一个 data 目录。

找到 hive.exec.local.scratchdir，替换目录地址。你需要在 data 目录下新建一个 scratch_dir 目录。

<property>
    <name>hive.exec.local.scratchdir</name>
    <value>E:/apache-hive-3.1.3-bin/data/scratch_dir</value>
    <description>Local scratch space for Hive jobs</description>
  </property>

替换 E:/apache-hive-3.1.3-bin/data/scratch_dir 为实际的目录。

找到 hive.downloaded.resources.dir，替换目录地址。你需要在 data 目录下新建一个 resources_dir 目录。

<property>
    <name>hive.downloaded.resources.dir</name>
    <value>E:/apache-hive-3.1.3-bin/data/resources_dir</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>

找到 hive.querylog.location，替换目录地址。你需要在 data 目录下新建一个 querylog 目录。

<property>
    <name>hive.querylog.location</name>
    <value>E:/apache-hive-3.1.3-bin/data/querylog</value>
    <description>Location of Hive run time structured log file</description>
  </property>

找到 hive.server2.logging.operation.log.location，替换目录地址。你需要在 data 目录下新建一个 operation_logs 目录。

<property>
    <name>hive.server2.logging.operation.log.location</name>
    <value>E:/apache-hive-3.1.3-bin/data/operation_logs</value>
    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
  </property>

接着，需要修改 Hive 默认连接的存储元数据的数据库。

找到 javax.jdo.option.ConnectionDriverName，替换其值为 com.mysql.jdbc.Driver，表示使用 Mysql 驱动连接数据库。

<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>

找到 javax.jdo.option.ConnectionURL，替换其数据库连接字符串：

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
    <description>
      JDBC connect string for a JDBC metastore.
      To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
      For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    </description>
  </property>

替换为 jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true。

找到 javax.jdo.option.ConnectionUserName，替换其中的值为连接数据库的用户名，默认为 root。

<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>Username to use against metastore database</description>
  </property>

找到 javax.jdo.option.ConnectionPassword，替换值为数据库密码。

<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
  </property>

运行 Hive

前面提到，Hive 需要存储元数据，其依赖于一个名为 Metastore 的组件。在上一个小节中，我们已经在 hive-site.xml 配置好了 Mysql，现在我们可以先启动 Metastore。

hive --service metastore

顺利的话，过一段时间后，可以在 Mysql 看到被写入了很多表：

117f6b7ce42d010529015a2328c111f0.png

接着，再启动一个 powershell 或 cmd 终端，执行 hive 命令。

启动之后，就可以输入命令。

6ffbb138173f8cf9cb8aa1ce9895e466.png

你可以执行命令创建数据库，命令完成后，可以在 Hadoop 中看到变化。

create table userinfo(id int, name string, age int);

然后打开：http://localhost:50070/explorer.html#/user/hive/warehouse

可以看到新建的表。

21b91221be3dedccd5dc7a16e6a633b9.png

经过以上步骤，即可将 Hadoop、Hive 跑起来。

连接到 Hive

DBeaver 为开发人员、数据库管理员、分析人员和所有需要使用数据库的人提供免费的多平台数据库工具，功能强大，支持 Hive，在本节中将会使用 DBeaver 连接到 Hive 中。

DBeaver 下载地址：https://dbeaver.io/download/

下载完成之后直接安装即可。

为了可以使用数据库连接工具连接到 Hive 执行命令，需要启动 hiveserver2 服务。

执行命令：

hive --service hiveserver2

打开 webui： http://localhost:10002/

c4e8bdfcb5e85b69b8a213320f352723.png

为了能够通过通过连接到 Hive 执行命令，需要先到 Hadoop 配置允许其它用户执行命令。

否则会报这个错误：

0951789221fa90c1fe7471bad29252c3.png

接着，停止 Hadoop(关闭四个窗口)、停止 hiveserver2，然后复制下面的配置到 Hadoop 的 etc/hadoop/core.site.xml 中。

<property>
    <name>hadoop.proxyuser.Administrator.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.Administrator.groups</name>
    <value>*</value>
</property>

请替换里面的 Administrator 为你当前用户的用户名。

修改后的完整配置：

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
  <property>
    <name>hadoop.proxyuser.Administrator.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.Administrator.groups</name>
    <value>*</value>
</property>
</configuration>

然后再点击 start-all.cmd，恢复 Hadoop 服务。

重新执行 hive --service metastore、 hive --service hiveserver2。

接着查看 Hive 目录下的 hive-site.xml，找到 hive.server2.thrift.client.user，里面记录了 hiveserver2 进行登录的用户名和密码，默认都是 anonymous。

<property>
    <name>hive.server2.thrift.client.user</name>
    <value>anonymous</value>
    <description>Username to use against thrift client</description>
  </property>
  <property>
    <name>hive.server2.thrift.client.password</name>
    <value>anonymous</value>
    <description>Password to use against thrift client</description>
  </property>

然后配置 DBeaver，在用户名和密码中输入 anonymous。

d94772a378543cb269ac8b422598270c.png

然后点击 ”编辑驱动设置“。

把里面原有的记录都删除掉，然后点击 ”添加文件“，使用 Hive 中最新的驱动。

857ca3adce297808ed3fc0a61bb2cda9.png

这个驱动文件在 Hive 的 jdbc 目录中。

7cbcd8726cbdde0ed4bb375c8fb47dbb.png

添加完成后，测试连接到 Hive。

2b9b0153b82c611262ac7fe46946f14a.png

c08ee28c20fd3b44546a181df24d40f6.png

至此，可以愉快地学习 Hive 啦！

dotNET跨平台
关注
Hive-2.3.3在window安装需要的cmd相关
11-03
windows下安装hive2.3.x 需要cmd文件，解压覆盖bin目录即可。原本想免积分的，没有这个选项，愿资源槛低一点,学习更容易一点。
Hadoop集群搭建Hive集群
qq_34158880的博客
07-27 2593
基于hadoop集群搭建hive集群
[Hadoop高可用集群]数仓工具之Hive的安装部署（超级详细，适用于初学者）
喜欢水星记的博客
05-15 5449
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。Hive 建立在Hadoop 基础之上,Hive 与 Hadoop 紧密集成，其设计可快速对 PB 级数据进行操作。
大数据Hadoop之——部署hadoop+hive环境（window10）
匠人精神，持之以恒！
02-13 5183
文章目录一、安装JDK81）JDK下载地址2）验证二、Hadoop安装1）下载Hadoop3.1.32）配置环境变量3）配置相关配置文件 一、安装JDK8 1）JDK下载地址 http://www.oracle.com/technetwork/java/javase/downloads/index.html 按正常下载是需要先登录的，这里提供一个不用登录下载的方法 连接如下：https://www.oracle.com/webapps/redirect/signon?nexturl=https://d
大数据----21.Windows下安装Hadoop； Hive MySQL版
u014579001的博客
05-24 761
windows ; hadoop; hive; mysql
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
4. **Hive**：Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。它适合做离线分析，不适用于实时查询。 - **Hive安装**： - 依赖于Hadoop，所以Hadoop必须先...
云计算Hadoop：快速部署Hadoop集群
07-23
资源名称：云计算Hadoop：快速部署Hadoop集群内容简介： 近来云计算越来越热门了，云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源，并按使用量付费。可以...
hadoop全套配置详细步骤（基础环境搭建+hadoop集群搭建+hive搭建）
08-15
本文件包含hadoop集群搭建的详细步骤，包含基础环境搭建，Hadoop集群搭建，Hive搭建。小白放心食用，无坑。 其中基础环境搭建包括虚拟机安装、centos7、网络配置、xshell、notepad等环境的安装。注：本文里安装的...
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
3.集群能正常运行的条件是集群可节点宕机数应保证有超过集群机器总数一半的机器在运行，因此从经济和实用性来说，集群的节点一般是奇数个，本文部署4台机器，其容灾能力与部署3台机器一致，即只能宕机1台
hadoop基础搭建（hadoop+hive+hbase+zk）（一）
weixin_40496191的博客
01-02 2714
关于hadoop的基础搭建
Hadoop生态系统环境搭建（Hadoop全分布式、Zookeeper集群、Mysql、Hive集群、Hbase集群、Redis集群、ElasticSearch集群）
helloWorld的博客
10-17 3406
Hadoop集群搭建，四台主机。安装了JDK、Hadoop、MySQL、Hive、Hbase、Redis、ElasticSearch、CDH。文章包含详细安装启动命令以及Web的UI界面
hadoop搭建、mysql、hive部署
记录学习路上的一些拙见
06-08 2526
大数据基础项目，基于hadoop、mysql、hive实现数据分析
大数据Hadoop之——部署hadoop+hive+Mysql环境（Linux）
最新发布
qq_41946216的博客
11-15 7991
-是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->-- 关闭yarn内存检查 flink on hadoop 配置-->-- 指定HDFS中NameNode的地址 默认 9000端口-->-- 指定Hadoop运行时产生文件的存储目录 -->-- 2nn web端访问地址 可以不配置-->-- 历史服务器web端地址 -->
大数据Hadoop之——部署hadoop+hive+Mysql环境（window11）
qq_41946216的博客
10-17 7021
win环境下大数据Hadoop的部署hadoop+hive环境
Hadoop搭建hive-1.2.1-bin详细步骤
dt13487442072的博客
05-26 187
Hadoop搭建hive-1.2.1-bin详细步骤
Hadoop——Hive运行环境搭建
qq_43760191的博客
07-21 1581
Windows下Hive运行环境搭建
Hive大数据项目环境搭建：安装部署Hive（超详细）
qq_58476985的博客
11-03 2419
（先保存一下hive3.1.2的路径：/home/hadoop/software/hive3.1.2，和hadoop-3.3.0的路径：/home/hadoop/software/hadoop-3.3.0。进入目录：/home/hadoop/software/hive3.1.2/conf，修改hive-env.sh.template名称为 hive-env.sh。把apache-hive-3.1.2-bin.tar.gz上传到linux的/home/hadoop/software目录下。
Windows下安装Hive
weixin_44179938的博客
06-03 4016
hive官网下载地址：https://archive.apache.org/dist/hive/hadoop官网下载地址：https://archive.apache.org/dist/hadoop/common/以hive-2.3.5为例1、下载apache-hive-2.3.5-src.tar.gz2、解压后，查看apache-hive-2.3.5-src/pom.xml文件​ 部分内容如下(line 141: 2.7.2
Hadoop2.5.0集群搭建教程：JDK、Hadoop、Hive、ZK、MySql、Sqoop全包含
"这篇文档详述了如何在Hadoop2.5.0环境下搭建一个包含JDK、Hadoop、Hive、ZooKeeper、MySQL、Sqoop等组件的集群。" 集群搭建步骤详解： 1. **环境规划**： 在构建分布式系统前，首要任务是进行环境规划。这包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值