大数据平台之 SQL 扫描服务（二） - 环境准备（Hadoop）

最新推荐文章于 2023-08-19 10:35:28 发布
最新推荐文章于 2023-08-19 10:35:28 发布
阅读量181 收藏
点赞数
分类专栏： 大数据平台 Hadoop 文章标签： 伪分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/frank110503/article/details/102871151
版权

目录

1. 环境版本

2.安装步骤

2.1 安装 JDK

2.2 在 hosts 文件构建映射关系

2.3 解压 Hadoop

2.4 修改 hadoop-env.sh

2.5 修改 core-site.xml

2.6 修改 hdfs-site.xml

2.7 修改 mapred-site.xml

2.8 修改 yarn-site.xml

3.启动服务

3.1 格式化 NameNode

3.2 启动 NameNode

3.3 启动 DataNode

3.4 启动 YARN

4.验证

5.参考链接

在上一篇文章中介绍了需求背景以及需要实现的功能，这篇文章主要是为进行下一步对 Hive Parser 流程分析做环境准备，以方便的进行代码跟踪以及问题复现，主要包括如下几个步骤：

  • 虚拟机下 Hadoop 伪分布式环境安装

 

1. 环境版本

  • Hadoop 版本：hadoop-2.6.0-cdh5.12.1
  • VMWare 版本：VMware-workstation-full-15.5.0-14665864
  • 虚拟机镜像版本：ubuntu-18.04.1-desktop-amd64.iso
  • JDK 版本：jdk-8u131-linux-x64

 

 

2.安装步骤

为简单起见，后续安装在 root 用户下进行。

 

2.1 安装 JDK

  • 新建目录：在目录 /usr/lib 下新建 jvm 目录，将 jdk 压缩文件解压至此目录
  • 修改配置：修改 ~/.bashrc 文件，新增环境变量（如下代码块）
  • 在终端中输入 "source ~/.bashrc" 使配置生效
  • 在终端中输入 "echo $PATH" 验证配置是否生效

 

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

 

2.2 在 hosts 文件构建映射关系

127.0.0.1    master

 

2.3 解压 Hadoop

  • 解压 hadoop-2.6.0-cdh5.7.0.tar.gz （tar -zxvf  hadoop-2.6.0-cdh5.7.0.tar.gz）
  • 修改解压后 hadoop-2.6.0-cdh5.7.0 目录为 hadoop-2.6.0，并进入到该目录（cd ./hadoop-2.6.0/etc/hadoop）
  • 后续配置文件路径都是以此为基础路径。

 

2.4 修改 hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_131

 

2.5 修改 core-site.xml

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://master:8020</value>
        </property>
</configuration>

 

2.6 修改 hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/tzx/data/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/tzx/data/dfs/data</value>
        </property>
</configuration>

 

2.7 修改 mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

 

2.8 修改 yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

 

3.启动服务

切换到 hadoop-2.6.0 根目录，所有命令都是基于此路径执行

 

3.1 格式化 NameNode

bin/hdfs namenode -format

 

3.2 启动 NameNode

sbin/hadoop-daemon.sh start namenode

 

3.3 启动 DataNode

sbin/hadoop-daemon.sh start datanode

 

3.4 启动 YARN

ssh-keygen -t rsa -P ""

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

sbin/start-yarn.sh

 

4.验证

 

5.参考链接

http://www.voidcn.com/article/p-tkfsbwkq-nb.html

窝窝和牛牛
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
VMvare15.5虚拟机安装文件
04-11
VMvare15.5虚拟机安装文件
VMware15.5.0虚拟机安装
pkloi的啵啵啵啵博客
07-13 1032
（1）双击VMware-workstation-full-15.5.0-14665864.exe，进入安装页面，点击安装。（2）点击下一步，进入许可协议界面，选择“我接受许可协议中的条款”，点击下一步。（2）如出现需要输入注册码，输入上面的注册码，点击“确定”按钮可进入主界面。（4）一直点击下一步，到下图界面，选择是否创建快捷方式。（6） 安装完成后，点击许可证，填写以下任一许可证号。（7）点击“输入”，提示安装完成。（3） 选择安装位置进行安装。（1）双击虚拟机快捷方式。（5） 点击“安装”
vmware15下载与安装教程
dwh19992018的博客
03-24 2万+
稍后安装操作系统我这里准备安装centos7选择命名和位置处理器内核总数是4个就够用了内存给了2g使用NAT会很方便推荐即可磁盘拆分多个文件即可下一步完成参考链接（许可证码）：https://www.cnblogs.com/huanhuandomingo/p/15683599.html。
【附安装包】VMware15.5安装教程
weixin_68789096的博客
08-19 6632
软件：VMware版本：15.5语言：简体中文大小：450.22M安装环境：Win11/Win10/Win8/Win7硬件要求：CPU@2.5GHz 内存@4G(或更高）下载通道①百度网盘丨下载链接：提取码：pcww。
VMware虚拟机软件的安装
qq_38113006的博客
10-16 2666
VMware虚拟机软件的安装 一、前言 VMware Workstation 允许操作系统和应用程序在一台虚拟机内部运行。虚拟机是独立运行主机操作系统的离散环境。在 VMware Workstation 中，你可以在一个窗口中加载一台虚拟机，它可以运行自己的操作系统和应用程序。通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统，它能在Windows系统上虚拟出多个计算机，每个虚拟计算机可以独立运行，可安装各种软件与应用等。 二、获取安装包 1、Vmware官网下载 下载地址：ht
基于SQL-on-Hadoop的网络日志分析
01-14
基于SQL-on-Hadoop构建网络日志分析平台，实现千亿级日志存储和高效、灵活查询。利用真实TB 级数据集对多种 Hadoop 列存储格式及压缩算法进行性能测试，并对比Hive和Impala引擎日志扫描及统计查询效率，选用Gzip压缩...
福建师范大学精品大数据导论课程系列 (5.8.1)--4.4 一种基于Hadoop的数据仓库之二.pdf
09-25
安装Hive通常涉及配置Hadoop环境，设置Hive元数据存储（如MySQL或Derby），然后启动Hive服务。Hive提供了一个命令行接口（CLI）供用户执行HQL，此外还有Web UI和JDBC/ODBC接口，使得其他应用程序可以连接并执行查询...
完整图文版 阿里巴巴数据产品平台 大数据与云计算技术系列教程 Hadoop之Hive学习笔记（共63页）.pdf
09-04
Hive是由阿里巴巴数据产品平台推出的一款基于Hadoop的大数据处理工具，主要服务于大数据与云计算技术领域。Hive的核心是提供了一种类SQL（HQL）的查询语言，使得熟悉SQL的开发者能够方便地进行大数据分析。本教程...
大数据SQL面试题02.zip
03-15
"大数据SQL面试题02.zip"很可能是包含了一系列针对大数据环境下的SQL问题和解答，旨在帮助求职者准备面试。以下是根据这个主题可能涵盖的一些关键知识点： 1. **大数据SQL基础知识**：面试可能会从基础概念开始，如...
使用sql语言查询大数据
05-28
在大数据领域，SQL（Structured Query Language）语言仍然...在实际操作中，结合具体的数据库系统（如Hadoop HBase、Apache Spark SQL或云服务中的大数据服务）的特性进行调整，能更好地发挥SQL在大数据环境下的作用。
Window下安装Linux虚拟机并进行部署服务（1）
秋林辉
10-14 288
Window下安装Linux虚拟机并进行部署服务（1）
最新Ubuntu20.04和VMware Workstation安装教程
weixin_48657700的博客
06-17 3640
VMware更新很快，只记录官网网址 https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html。这如果一直打不开，需要把目前窗口关掉，也就是Ubuntu关机，然后双击上图的CD/DVD,把IOS映像文件设置为自己下载的映像文件。点击选择镜像文件，就是自己下载的ubuntu-20.04-desktop-amd64.iso。也可以选择正常安装，下面的亦可以勾上。选择语言，点击安装Ubuntu，然后继续。
大数据平台之 SQL 扫描服务（一） - 需求分析+流程分析+功能分析
蜗牛的专栏
11-02 440
目录 1. 需求分析 2. 流程分析 3. 功能分析 4. 结论 1. 需求分析 在最近的工作需求中，想针对大数据平台的 SQL执行 功能加入 SQL检测能力，进而可以在用户将 SQL 提交给 Hive引擎 或者 Spark引擎 执行之前，可以捕获到精确的报错信息，整体流程图如下所示： 2. 流程分析 主要执行流程如下所示： 用户提交 SQL ...
VM（桌面虚拟机软件）下载
热门推荐
COCO56的博客
10-12 2万+
本文已迁移至：https://www.cnblogs.com/coco56/p/13267939.html
VMware Workstation启动虚拟机时蓝屏
weixin_44712870的博客
07-27 3350
使用的VMware版本是VMware-workstation-full-15.5.0-14665864.exe， 系统的Windows版本是Windows 10 Version 2004， 现象是点击下图中的“开启虚拟机时”，系统蓝屏。 参考网上的说法，在控制台使用命令bcdedit /set hypervisorlaunchtype off关闭Hyper-V并重启了电脑，依旧蓝屏。 后来，在这里有了思路 https://kb.vmware.com/s/article/2146361?lang=zh_c
VMware-workstation-full-15.0.3-12422535.exe安装
Night2233的博客
03-28 1391
下载地址 https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html 下载与安装 ZC10K-8EF57-084QZ-VXYXE-ZF2XF 其它下载 百度云盘 链接：https://pan.baidu.com/s/1goxruYpiwAqWDzgY0oNstg 提取码：2aov 复...
VMware15.5安装虚拟机Ubuntu16.04
DUMG
05-14 699
VMware的版本：VMware-workstation-full-15.5.0-14665864.exe 要安装的虚拟机的iso文件—ubuntu-16.04.2-desktop-amd64.iso
VMware WorkStations 15 PRO 创建虚拟机步骤
WinterBluestar的博客
11-20 5041
1. 下载 下载地址: https://download3.vmware.com/software/wkst/file/VMware-workstation-full-15.5.0-14665864.exe 使用这个地址下载不需要进行注册 2. 安装 安装很简单,提供网址: https://blog.csdn.net/afvt77964/article/details/101266284 ...
chromedriver-mac-arm64_126.0.6474.0.zip
最新发布
07-31
chromedriver-mac-arm64_126.0.6474.0.zip
Hadoop3.x大数据平台中的Sqoop：数据迁移利器
"本资源主要介绍了Hadoop大数据平台中的数据迁移工具Sqoop，涵盖了 Sqoop 的概述、安装配置、常用命令、数据导入与导出等内容，旨在帮助用户理解如何在Hadoop和关系数据库间进行数据传输。" 在Hadoop大数据处理环境...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值