Spark2.4.0-CDH6.3安装与错误解决过程

最新推荐文章于 2024-04-22 15:03:44 发布
最新推荐文章于 2024-04-22 15:03:44 发布
阅读量2.5k 收藏 2
点赞数 1
分类专栏： 大数据与人工智能 文章标签： spark linux cdh 错误 安装
转载注明出处
本文链接：https://blog.csdn.net/qq_15973399/article/details/100150840
版权

安装软件

首先在CM6.3上安装Spark，这里不再说明。
在这里插入图片描述

环境准备

安装目录：/opt/cloudera/parcels/CDH/lib/spark，作为操作的主目录。

spark-env.sh的修改

此配置文件需要在末尾添加JAVA_HOME环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera

slaves的修改

这个文件需要添加Work的主机名，默认是没有的，需要修改slaves.template来添加
进入conf目录

mv slaves.template slaves

开始启动集群

./sbin/start-all.sh

发现只有Master启动了，Work没有启动，查看日志


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  「已注销」
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  12
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Spark2.4.0-CDH6.3 错误解决过程

				
			

			

				

					李孟的博客
				

				

					12-25
					
					1949
					
				

			

		

		

			
				
1.背景

最近环境切换到CDH6.3，用到Spark2.4，Hive2.1，Hadoop3.0，Beam等组件，Beam中嵌套了很多组件的原生API。

2.安装

2.1 Spark



具体步骤略，照着网上文档按步骤就可以安装好，下面步骤，展示如何启动Master,Worker进程。

安装目录：/opt/cloudera/parcels/CDH/lib/spark，操作主目录。


sp...

			
		

	



                

              
                



	

		

			

				
					
Cloudera CDH6.3.0集群安装与部署，集成hbase，集成spark

				
			

			

				

					a515381937的博客
				

				

					12-29
					
					1151
					
				

			

		

		

			
				
CDH6.3.0集群安装与部署
1.1.修改机器名（所有节点）
修改机器名称，这种方式，在Centos7中可以永久性改变主机名称。
#hostnamectl set-hostname xxx  //设置机器名
#hostname // 查看本机名
每个节点机器，都要配置hosts
#vi /etc/hosts
内容都改为：
127.0.0.1  localhost //建议保留此行
192.168.144.***   hadoopm
192.168.144.***  hadoopf
1.2.设置防火墙（所有

			
		

	



                


  
              

                


	

		

			

				
					
CDH-6.3.2内置spark-2.4.0的BUG

				
			

			

				

					第一片心意的博客
				

				

					03-05
					
					1820
					
				

			

		

		

			
				
CDH-6.3.2内置spark-2.4.0的BUG

			
		

	





	

		

			

				
					
解决Maven出现 Could not find artifact的 各种方法，亲测有效！！！

					
最新发布

				
			

			

				

					2301_79779756的博客
				

				

					04-22
					
					1万+
					
				

			

		

		

			
				
解决Maven出现 Could not find artifact的 各种方法，亲测有效！！！

			
		

	



		

			
		



	

		

			

				
					
CDH6.3.2集成spark-sql完整版本

				
			

			

				

					qq_36363012的博客
				

				

					08-17
					
					1091
					
				

			

		

		

			
				
CDH6.3.2集成spark-sql完整版本

			
		

	





	

		

			

				
					
cdh6.3安装以及整合spark2、flink1.9

				
			

			

				

					赣江
				

				

					05-08
					
					3539
					
				

			

		

		

			
				
总结：

配置cm-server的yum本地安装路径，使用yum安装好cm-server即可，cm-agent无需手动到节点去安装，cm会自动在节点上安装。
parcels文件不用安装yum本地源，后续直接拷贝到cm server 的/opt/cloudera/parcel-repo/下即可。
jdk手动安装，目录必须是：/usr/java/jdk-version，否则报错
yum需要安装前期的依...

			
		

	





	

		

			

				
					
spark-sql_2.11-2.4.0-cdh6.1.1.jar

				
			

			

				

					05-14
				

			

		

		

			
				
spark-sql_2.11-2.4.0-cdh6.1.1.jar

			
		

	





	

		

			

				
					
spark-streaming-kafka-0-10_2.11-2.4.0-cdh6.1.1.jar

				
			

			

				

					05-14
				

			

		

		

			
				
spark-streaming-kafka-0-10_2.11-2.4.0-cdh6.1.1.jar

			
		

	





	

		

			

				
					
spark-catalyst_2.11-2.4.0-cdh6.1.1.jar

				
			

			

				

					05-14
				

			

		

		

			
				
spark-catalyst_2.11-2.4.0-cdh6.1.1.jar 是CDH版本的jar包。不好下载啊。

			
		

	





	

		

			

				
					
spark-2.4.0-bin-hadoop2.7.tgz

				
			

			

				

					05-29
				

			

		

		

			
				
安装和配置Spark-2.4.0-bin-hadoop2.7时，你需要设置环境变量，如`SPARK_HOME`，并将Spark和Hadoop的bin目录添加到PATH中。然后，你可以通过`spark-submit`命令提交Spark作业到集群，或者使用`pyspark`或`spark-...

			
		

	





	

		

			

				
					
spark-3.2.2-bin-3.0.0-cdh6.3.2

				
			

			

				

					10-20
				

			

		

		

			
				
内容概要：由于cdh6.3.2的spark版本为2.4.0，并且spark-sql被阉割，现基于cdh6.3.2，scala2.12.0，java1.8，maven3.6.3，,对spark-3.2.2源码进行编译 应用：该资源可用于cdh6.3.2集群配置spark客户端，用于spark-sql

			
		

	





	

		

			

				
					
CDH上安装spark2的操作说明

				
			

			

				

					11-16
				

			

		

		

			
				
CDH安装SPark2的方法 可以同时安装CDH的默认spark以及最近的spark2

			
		

	





	

		

			

				
					
spark-streaming_2.11-2.4.0-cdh6.1.1.jar

				
			

			

				

					05-14
				

			

		

		

			
				
spark-streaming_2.11-2.4.0-cdh6.1.1.jar

			
		

	





	

		

			

				
					
spark-assembly-1.2.0-cdh5.3.4-hadoop2.5.0-cdh5.3.4

				
			

			

				

					08-17
				

			

		

		

			
				
spark+cdh+hadoop,在用CDH开发过程中，可能会出现缺少依赖包的情况，这个包可能会有用！

			
		

	





	

		

			

				
					
spark各个版本下载

				
			

			

				

					杜海的博客
				

				

					12-09
					
					6256
					
				

			

		

		

			
				
http://www.apache.org/dist/spark


			
		

	





	

		

			

				
					
CDH 6.3.1正式环境安装过程及注意事项，帮你一步到位

				
			

			

				

					xuye0606的博客
				

				

					08-16
					
					2475
					
				

			

		

		

			
				
第一部分 环境检查及准备：

1.1 基础环境及镜像包准备

1.1.1 基础环境要求


			名称
			
			
			地址
			
			
			操作系统
			
			
			root密码
			
		cdh-0001
			
			10.1.0.30
			
			
			Centos 7.7
			
			
			*****
			
		cdh-0001
			
			10.1.0.105
			
			
			Centos 7.7
			
			
			
			
		cdh-0001
		.

			
		

	





	

		

			

				
					
CDH6.3.2添加spark-sql

				
			

			

				

					丰耳的博客
				

				

					02-18
					
					4931
					
				

			

		

		

			
				
前言
众所周知，CDH为了推自家的Impala，阉割掉了Spark的spark-sql工具，虽然很多时候我们并不需要spark-sql,但是架不住特殊情况下有使用它的时候，这个根据项目或者团队（个人）情况而异。我这边就是因为项目原因，需要使用spark-sql，因此从网上各种查资料，折腾了好几天，最终在CDH集群上集成了spark-sql，以下操作并不能保证百分百适配你的环境，但思路可供借鉴。
集成步骤
下载Apache-spark2.4.0
因为CDH6.3.2使用的Spark版本是2.4.0,为了避免使

			
		

	





	

		

			

				
					
基于CentOS 7.2的CDH 6.3.2 Spark完整安装

				
			

			

				

					SmallScorpion
				

				

					09-24
					
					1597
					
				

			

		

		

			
				
基于CentOS 7.2的CDH6.3.2离线安装
https://blog.csdn.net/qq_40180229/article/details/108755530
基于CentOS 7.2的CDH 6.3.2完整集群添加
https://blog.csdn.net/qq_40180229/article/details/108756561
基于CentOS 7.2的CDH 6.3.2 Hadoop配置
https://blog.csdn.net/qq_40180229/article/details

			
		

	





	

		

			

				
					
CDH6.3.1发行版，idea本地调试spark连接hive仓库demo

				
			

			

				

					FengYeHanQiu的博客
				

				

					02-25
					
					1568
					
				

			

		

		

			
				
最近接手个CDH6.3.1版本的大数据集群，以前我搭建的都是apache原生Hadoop集群，通过编辑器调试sparkSQL读取hive很容易。现在遇到CDH整合后的集群还是有点不习惯，找到cdh环境中的hive-site.xml里面配置基本没用。网上找了许多感觉没有正解，我按照原生apache的hive-site.xml配置更改了下，可以实现本地idea调试启动spark程序读取hive表。

项目结构



hive-site.xml配置


<?xml version="1.0"?>
&l

			
		

	





	

		

			

				
					
spark-2.4.0-bin-hadoop2.7.tgz下载

				
			

			

				

					12-29
				

			

		

		

			
				
spark-2.4.0-bin-hadoop2.7.tgz 是Apache Spark的一个版本压缩包，其中包含了Apache Spark的二进制文件和相关的依赖库。您可以通过以下步骤进行下载：  1. 打开一个Web浏览器，例如Google Chrome或Mozilla Firefox。...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 12

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值