最全大数据进阶之路——Spark SQL环境搭建_sparksql环境搭建，2024年最新普通二本的辛酸大数据开发面试之路

最新推荐文章于 2024-05-24 17:56:33 发布
最新推荐文章于 2024-05-24 17:56:33 发布
阅读量921 收藏 14
点赞数 13
分类专栏： 程序员 文章标签： 大数据 spark sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84181564/article/details/138550920
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

  • NameNode(master)
    1）负责客户端请求的响应
    2）负责元数据（文件的名称、副本系数、Block存放的DataNodes）的管理

  • DataNodes(slave)
    1）存储用户的文件对应的数据块(Block)
    2）要定期向NameNode发送心跳信息，汇报本身及其所有的block信息，健康状况

  • 副本系数

    • It stores each file as a sequence of blocks. The blocks of a file are replicated for fault tolerance. The block size and replication factor are configurable per file.( 默认情况下，块大小是 128M，默认复制因子是 3）
    • An application can specify the number of replicas of a file. The replication factor can be specified at file creation time and can be changed later.( 复制因子和块大小, 可以改的)
环境搭建
  1. 下载Hadoop
	http://archive.cloudera.com/cdh5/cdh/5/
	2.6.0-cdh5.7.0

	wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

2）安装jdk
下载
解压到app目录：tar -zxvf jdk-7u51-linux-x64.tar.gz -C ~/app/
验证安装是否成功：~/app/jdk1.7.0_51/bin ./java -version
建议把bin目录配置到系统环境变量(~/.bash_profile)中

		export JAVA_HOME=/home/hadoop/app/jdk1.7.0_51
		export PATH=$JAVA_HOME/bin:$PATH

3）机器参数设置

  • 修改机器名:vi /etc/sysconfig/network
		NETWORKING=yes
		HOSTNAME=hadoop001
  • 设置ip和hostname的映射关系:vi /etc/hosts
		192.168.199.200 hadoop001
		127.0.0.1 localhost
  • ssh免密码登陆(本步骤可以省略，但是后面你重启hadoop进程时是需要手工输入密码才行)
		ssh-keygen -t rsa
		cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

4）Hadoop配置文件修改:~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop

  • hadoop-env.sh

配置Java目录export JAVA_HOME=/home/hadoop/app/jdk1.7.0_51

  • core-site.xml
    配置伪分布式
	<property>
        	<name>fs.defaultFS</name>
        	<value>hdfs://hadoop001:8020</value>
    	</property>	

    	<property>
        	<name>hadoop.tmp.dir</name>
        	<value>/home/hadoop/app/tmp</value>
    	</property>
  • hdfs-site.xml
    调整副本系数
    	<property>
	        <name>dfs.replication</name>
	        <value>1</value>
	</property>

5）格式化HDFS
注意：这一步操作，只是在第一次时执行 ，每次如果都格式化的话，那么HDFS上的数据就会被清空
~/app/hadoop-2.6.0-cdh5.7.0/bin/hdfs namenode -format
看到下面日志表示成功
X X X X Xhas been successfully formatted.

6）启动HDFS
~/app/hadoop-2.6.0-cdh5.7.0/sbin/start-dfs.sh

验证是否启动成功:


		jps
			DataNode
			SecondaryNameNode
			NameNode

		浏览器
			http://hadoop001:50070/

7）停止HDFS
sbin/stop-dfs.sh

HDFS命令
[hadoop@hadoop000 bin]$ ./hadoop
Usage: hadoop [--config confdir] COMMAND
       where COMMAND is one of:
  fs                   run a generic filesystem user client
  version              print the version
  jar <jar>            run a jar file
  checknative [-a|-h]  check native hadoop and compression libraries availability
  distcp <srcurl> <desturl> copy file or directories recursively
  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
  classpath            prints the class path needed to get the
  credential           interact with credential providers
                       Hadoop jar and the required libraries
  daemonlog            get/set the log level for each daemon
  s3guard              manage data on S3
  trace                view and modify Hadoop tracing settings
 or
  CLASSNAME            run the class named CLASSNAME

Most commands print help when invoked w/o parameters.


[hadoop@hadoop000 bin]$ ./hadoop fs
Usage: hadoop fs [generic options]
	[-appendToFile <localsrc> ... <dst>]
	[-cat [-ignoreCrc] <src> ...]
	[-chgrp [-R] GROUP PATH...]
	[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
	[-chown [-R] [OWNER][:[GROUP]] PATH...]
	[-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
	[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
	[-count [-q] [-h] [-v] [-x] <path> ...]
	[-cp [-f] [-p | -p[topax]] <src> ... <dst>]
	[-df [-h] [<path> ...]]
	[-du [-s] [-h] [-x] <path> ...]
	[-find <path> ... <expression> ...]
	[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
	[-getfacl [-R] <path>]
	[-getfattr [-R] {-n name | -d} [-e en] <path>]
	[-getmerge [-nl] <src> <localdst>]
	[-help [cmd ...]]
	[-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...]]
	[-mkdir [-p] <path> ...]
	[-moveFromLocal <localsrc> ... <dst>]
	[-moveToLocal <src> <localdst>]
	[-mv <src> ... <dst>]
	[-put [-f] [-p] [-l] <localsrc> ... <dst>]
	[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
	[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
	[-test -[defsz] <path>]
	[-text [-ignoreCrc] <src> ...]
	[-touchz <path> ...]
	[-usage [cmd ...]]
  • 常用命令
    hadoop fs -ls /
    hadoop fs -cat /``hadoop fs -text /
    hadoop fs -put /``hadoop fs -copyFromLocal /
    hadoop fs -get /README.txt ./
    hadoop fs -mkdir /hdfs-test
    hadoop fs -mv
    hadoop fs -rm
    hadoop fs -rmdir
    hadoop fs -rmr==hadoop fs -rm -r
    hadoop fs -getmerge
    hadoop fs -mkdir /hdfs-test

###　MapReduce

MapReduce性能远低于Spark
并且只适合做离线处理不适合做实时处理和流式处理

YARN架构详解

Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.0 引入的集群资源管理系统。用户可以将各种服务框架部署在 YARN 上，由 YARN 进行统一地管理和资源分配。

The fundamental idea of MRv2 is to split up the two major functionalities of the JobTracker, resource management and job scheduling /monitoring, into separate daemons. The idea is to have a global ResourceManager (RM) and per-application ApplicationMaster (AM). An application is either a single job in the classical sense of Map-Reduce jobs or a DAG of jobs.

1 RM(ResourceManager) + N NM(NodeManager)

  1. Client
  • 向RM提交任务
  • 杀死任务
  1. ResourceManager
  • ResourceManager 通常在独立的机器上以后台进程的形式运行，一个集群active状态的｀ResourceManager｀只有一个　，它是整个 集群资源的主要协调者和管理者 。
    －2）启动/监控｀ApplicationMaster｀(一个作业对应一个AM)和监控｀NodeManager｀
  • 负责给用户提交的所有应用程序分配资源 ，它根据应用程序优先级、队列容量、ACLs、数据位置等信息，做出决策，然后以共享的、安全的、多租户的方式制定分配策略，调度集群资源。
  1. NodeManager

整个集群中有N个，负责单个节点的资源管理和使用以及task的运行情况

  • NodeManager 是 YARN 集群中的每个具体 节点的管理者 。

  • 主要 负责该单个节点内所有容器的生命周期的管理，监视资源和跟踪节点健康 。具体如下：

    • 定时启动时向 ResourceManager 注册并定时发送心跳消息，等待 ResourceManager 的指令；
    • 维护 Container 的生命周期，监控 Container 的资源使用情况和启停的各种命令；
    • 管理任务运行时的相关依赖，根据 ApplicationMaster 的需要，在启动 Container 之前将需要的程序及其依赖拷贝到本地。
  1. ApplicationMaster

每个应用/作业对应一个，负责应用程序的管理

  • 在用户提交一个应用程序时，YARN 会启动一个轻量级的 进程 ApplicationMaster。

  • ApplicationMaster 负责协调来自 ResourceManager 的资源，并通过 NodeManager 监视容器内资源的使用情况，同时还负责任务的监控与容错。具体如下：

    • 根据应用的运行状态来决定动态计算资源需求；
    • 向 ResourceManager 申请资源，为应用程序向RM申请资源(container)，并分配给内部任务
    • 跟踪任务状态和进度，NM通信以启停task， task是运行在container中的
    • 负责任务的容错。
  1. Container
  • Container 是 YARN 中的 资源抽象 ，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。
  • 当 AM 向 RM 申请资源时，RM 为 AM 返回的资源是用 Container 表示的。
  • YARN 会为每个任务分配一个 Container，该任务只能使用该 Container 中描述的资源。ApplicationMaster 可在 Container 内运行任何类型的任务。例如，MapReduce ApplicationMaster 请求一个容器来启动 map 或 reduce 任务
YARN执行流程

  1. 客户端client向yarn集群提交作业 , 首先①向ResourceManager申请分配资源
  2. Resource Manager会为作业分配一个Container(Application manager),Container里面运行这(Application Manager)
  3. Resource Manager会找一个对应的NodeManager通信②，要求NodeManager在这个container上启动应用程序Application Master ③
  4. Application Master向Resource Manager申请资源④(采用轮询的方式通过RPC协议)，Resource scheduler将资源封装发给Application master④,
  5. Application Master将获取到的资源分配给各个Node Manager，并监控运行情况⑤
  6. Node Manage得到任务和资源开始执行作业⑥
  7. 再细分作业的话可以分为 先执行Map Task,结束后在执行Reduce Task 最后再将结果返回給Application Master等依次往上层递交⑦
YARN环境搭建
[hadoop@hadoop001 hadoop]$ pwd
/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
  • mapred-site.xml
	<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
  • yarn-site.xml
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

启动yarn：sbin/start-yarn.sh

验证是否启动成功

	jps
		ResourceManager
		NodeManager

	web: http://hadoop001:8088

停止yarn： sbin/stop-yarn.sh

提交mr作业到yarn上运行： wc

hadoop jar /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount /input/wc/hello.txt /output/wc/

[hadoop@hadoop001 sbin]$ hadoop fs -ls /output/wc
20/10/16 05:17:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
-rw-r--r--   1 hadoop supergroup          0 2020-10-16 04:54 /output/wc/_SUCCESS
-rw-r--r--   1 hadoop supergroup         26 2020-10-16 04:54 /output/wc/part-r-00000
[hadoop@hadoop001 sbin]$ hadoop fs -cat /output/wc/part-r-00000
20/10/16 05:17:52 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
hello	2
welcome	2
world	1
Hive环境搭建

Hive体系架构

HiveRDBMS
查询语言Hive SQLSQL
数据储存HDFSRaw Device or Local FS
索引无(支持比较弱)有
执行MapReduce、 TezExcutor
执行时延高，离线低 , 在线
数据规模非常大, 大小

Hive底层的执行引擎有：MapReduce、Tez、Spark
Hive on MapReduce
Hive on Tez
Hive on Spark

1）Hive下载：http://archive.cloudera.com/cdh5/cdh/5/
wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz

2）解压
tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/app/

3）配置
系统环境变量(~/.bahs_profile)

		export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0


![img](https://img-blog.csdnimg.cn/img_convert/dee3a50bebd6b4439f50e91cd888ea28.png)
![img](https://img-blog.csdnimg.cn/img_convert/5e21e7fbdd9e008615cbffd09dd57ae3.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

-1.1.0-cdh5.7.0.tar.gz -C ~/app/`


3）配置  
 系统环境变量(~/.bahs\_profile)




	export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0

[外链图片转存中…(img-Yu9AhKu8-1715100346159)]
[外链图片转存中…(img-lEJk38fR-1715100346159)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84181564
关注
  • 13
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Sparksql
努力努力再努力的博客
10-24 228
Sparksql 1 加载文件 rdd: sc.testfile dataFrame:spark.read.text dataset:spark.read.textFile package chapter5 import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, Dataset, SparkSession} object Demo { de
SparkSql
superWe的博客
04-15 345
SparkSql 1.sparkSQL概述 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。它是sparkSQL的底层抽象 有多种方式去使用Spark SQL，包括SQL、DataFrames API和Datasets API。但无论是哪种API或者是编程语言，它们都是基于同样的执行引擎. ...
大数据最全大数据进阶之路——Spark SQL环境搭建_sparksql环境搭建(1)
2401_84182337的博客
05-04 897
https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.30.zip下载。
Spark SQL【Java API】
最新发布
梦想是动物管理员
05-24 1221
Spark SQL 【Java API】
Spark SQL
programmerDingl的博客
10-13 287
Spark SQL Spark SQL是构建在Spark RDD之上一款ETL（Extract Transformation Load）工具（类似Hive-1.x-构建在MapReduce之上）。同Spark RDD 不同地方在于Spark SQL的API可以给Spark计算引擎提供更多的信息（计算数据结构、转换算子），Spark计算引擎可以根据SparkSQL提供的信息优化底层计算任务。目前为...
SparkSQL
我的笔记
02-23 8111
大数据自学笔记——spark学习笔记
Python学习笔记——大数据之Spark简介与环境搭建
02-24
Spark是Apache顶级项目里面最火的大数据处理的计算引擎，它目前是负责大数据计算的工作。包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。核心组件如下：SparkCore：包含Spark的基本功能；尤其是...
尚硅谷大数据技术之企业SQL面试题_大数据_sql_尚硅谷sql_doc_
10-04
"尚硅谷大数据技术之企业SQL面试题"这个资料集显然针对的是准备面试的求职者，特别是那些希望在大数据环境中运用SQL技能的角色。这份文档可能是由尚硅谷——一个知名的IT教育机构提供的，旨在帮助学习者掌握SQL在...
阿里大数据之路——关键总结版.pdf
11-22
阿里大数据之路的总结主要涵盖了大数据开发的关键技术和架构，包括数据的采集、存储、处理和分析等方面。以下是对这些内容的详细解析： 1. 数据采集 数据采集是大数据流程的第一步，涉及对Web和APP产生的数据进行...
大数据环境搭建——>Spark安装配置
08-03
大数据环境搭建——>Spark安装配置
[大数据]Spark(3)SparkSQL(1)
RegulusF的博客
07-23 343
1. SparkSQL概述 1.1 SparkSQL Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。 与基本的Spark RDD API不同，Spark SQL的抽象数据类型为Spark提供了关于数据结构和正在执行的计算的更多信息。 在内部，Spark SQL使用这些额外的信息去做一些额外的优化，有多种方式与Spark SQL进行交互，比如: SQL和DatasetAPI。 当计算结果的时候，使用的是相同的执行引擎，不依赖你正在使用哪种API或者语言。这
Spark Sql
健身看书环游世界
06-01 162
RDD,DataFrame,DataSet 三者联系 首先在spark2.0版本中，已经移除了DataFrame，成为了DataSet的一个约定例如 DataFrame=DataSet【ROW】 三者的区别： RDD 就像 一个类名调用一样，就像people类，user类，可以清楚每个元素的元素类型 ，不清楚元素内部的具体属性信息 DataFrame 每个元素都是ROW类型，可以清楚元素内部的属性信息，但是不清楚每个属性是属于什么类型，例如String，Int类型，在需要泛型的时候有用。 DataSet
大数据hadoop与spark研究——1 spark环境搭建
03-16
要搭建Spark环境，需要以下步骤： 1. 安装Java环境：Spark是基于Java开发的，所以需要先安装Java环境。 2. 下载Spark：从官网下载Spark的二进制包，解压到本地目录。 3. 配置环境变量：将Spark的bin目录添加到系统的PATH环境变量中。 4. 配置Spark：在Spark的conf目录下，复制一份spark-env.sh.template文件，并将其重命名为spark-env.sh。在该文件中，可以配置Spark的一些参数，如内存大小、日志级别等。 5. 启动Spark：在命令行中输入spark-shell命令，即可启动Spark的交互式Shell。 6. 测试Spark：在Spark的Shell中输入一些简单的命令，如读取文件、进行计算等，来测试Spark是否正常工作。 以上就是搭建Spark环境的基本步骤，希望能对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值