ubuntu16.04LTS下Spark完全分布式搭建

最新推荐文章于 2024-07-21 16:39:00 发布
最新推荐文章于 2024-07-21 16:39:00 发布
阅读量4.5k 收藏 2
点赞数
分类专栏： 杂七杂八 文章标签： spark scala 集群 分布式 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_33741547/article/details/54708749
版权

本文章spark是在Hadoop2.7完全分布式环境下搭建的，相关配置如下：

1、ubuntu16.04LTS

2、jdk1.8._111

3、Hadoop2.7.3

一 工具准备

1.spark-2.1.0-bin-hadoop2.7.tgz(下载地址)

2.scala-2.12.1.tgz(下载地址)

二 环境搭建

1.scala安装

(1)解压scala-2.12.1.tgz到/usr/local/scala目录下

(2)增加环境变量

root@master:~# gedit .bashrc


 

添加以下内容：
 

 

export SCALA_HOME=/usr/local/scala/scala-2.12.1
export PATH=$PATH:$SCALA_HOME/bin
 

 

(3)刷新环境变量
 

 


                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  lpty
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
Spark-1.6.1 Hadoop-2.6.4 VMware Ubuntu 分布式集群搭建 全过程

				
			

			

				

					Crystal_Zero的博客
				

				

					03-24
					
					3811
					
				

			

		

		

			
				
部分内容参考Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04本文从头开始零基础完全配置，适合小白。 
本文在vmware中配置三台虚拟机，一台做Master，两台Worker，hadoop 和spark只需要在Master上配置，然后cp到worker上，包括配置文件。Ubuntu基本环境配置创建hadoop用户在终端中输入sudo useradd -m ha

			
		

	



                

              
                



	

		

			

				
					
基于Ubuntu16搭建Hadoop大数据完全分布式环境

				
			

			

				

					weixin_33910385的博客
				

				

					01-17
					
					530
					
				

			

		

		

			
				
【目的】：学习大数据
在此记录搭建大数据的过程。
【系统环境】
      宿主机操作系统：Win7 64位
      虚拟机软件：Vmware workstation 12
      虚拟机：Ubuntu 16 64位桌面版
 【步骤概要】
 一、准备
     1、准备安装软件
     2、规划好虚拟机...

			
		

	



                


  
              

                


	

		

			

				
					
Ubuntu上安装Spark

					
最新发布

				
			

			

				

					weixin_45255069的博客
				

				

					07-21
					
					494
					
				

			

		

		

			
				
如果一切顺利，将会进入Spark Shell界面。这样就完成了在Ubuntu上安装Spark的过程。

			
		

	





	

		

			

				
					
ubuntu 16.04 搭建完全分布式之：spark搭建

				
			

			

				

					fdsjzs1的博客
				

				

					09-16
					
					348
					
				

			

		

		

			
				
预留一下，晚上写



			
		

	



		

			
		



	

		

			

				
					
Ubuntu16.04上Hadoop2.7.3+Spark2.0.2完全分布式集群搭建

				
			

			

				

					weixin_35085215的博客
				

				

					04-02
					
					1894
					
				

			

		

		

			
				
从3月22日到4月1日，整整十一天，hadoop搭建从入门到放弃，终于在愚人节完成了【开心.jpg】——Happy Fool's Day




目录

1、环境搭建

虚拟机：

系统：

节点：

2、相关软件版本

3、主要参考文章

3.1Hadoop2.7.3完全分布式集群搭建和测试(如果一切再重来)

3.2The authenticity of host 'localhost...

			
		

	





	

		

			

				
					
Ubuntu中Spark下载

				
			

			

				

					qq_61786801的博客
				

				

					09-09
					
					1102
					
				

			

		

		

			
				
Ubuntu中Spark下载

			
		

	





	

		

			

				
					
Ubuntu 16.04 LTS误删系统内核或驱动导致无法上网解决方案

				
			

			

				

					u25th_engineer的博客
				

				

					04-29
					
					3503
					
				

			

		

		

			
				
我花了将近3天的才解决了这个问题，期间多次想放弃、直接重装系统（还好我没有），但一想到重装系统要重新配置那么多东西就不胜其烦。

    我前天突然心血来潮想要清理下系统多余内核，说干就干。我马上在网上搜到相关命令后就开始敲，前后敲了这些“死亡”命令：


 1658  uname -a
 1659  dpkg --get-selections|grep linux
 16...

			
		

	





	

		

			

				
					
Ubuntu16.04伪分布式Hadoop3.1.3大数据集群配置指南

				
			

			

				

					
				

			

		

		

			
				
"提供了一个基于Ubuntu 16.04的伪分布式Hadoop 3.1.3大数据集群环境，该环境预装了包括Hadoop、HBase、MySQL、Hive、Scala、Spark、Flink和Maven等一系列大数据处理相关的组件。虚拟机镜像是ova格式，适用于...

			
		

	





	

		

			

				
					
Ubuntu 16.04 LTS上用IDEA编程操作hive报错：Table or view not found

				
			

			

				

					u25th_engineer的博客
				

				

					07-26
					
					2264
					
				

			

		

		

			
				
Table of Contents

 系统：

 环境：

 问题：

 原因：

 解决方法：

 参考连接：

 这个问题（Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not f...

			
		

	





	

		

			

				
					
OpenStack Mitaka for Ubuntu 16.04 LTS 部署指南

					
热门推荐

				
			

			

				

					Sam Wong
				

				

					07-26
					
					1万+
					
				

			

		

		

			
				
【声明】
欢迎转载，转载本文请注明作者和出处 
https://www.zybuluo.com/ncepuwanghui/note/389373 
http://blog.csdn.net/ncepuwanghui/article/details/52034515
本文主要参考OpenStack官方文档 
OpenStack Documentation for Mitaka : Installati

			
		

	





	

		

			

				
					
Ubuntu16.04 安装搭建Hadoop spark 集群

				
			

			

				

					xiameimei_win的博客
				

				

					11-29
					
					331
					
				

			

		

		

			
				
1、将single node cluster 复制





复制并且更改名字

2、设置data1的网卡



3、添加第二张网卡



并且设置成主机模式

4、设置data1服务器



4.1 编辑interfaces文件


 sudo gedit /etc/network/interfaces


# interfaces(5) file used by ifup(8) and if...

			
		

	





	

		

			

				
					
ubuntu16.04_spark2.2.1集群搭建

				
			

			

				

					04-08
				

			

		

		

			
				
ubuntu16.04_spark2.2.1集群搭建------------------------------------------------------------------------------------------------------------------

			
		

	





	

		

			

				
					
基于Ubuntu虚拟机的Spark简单集群搭建(一)

				
			

			

				

					weixin_44607838的博客
				

				

					07-24
					
					2123
					
				

			

		

		

			
				
基本介绍

作为一个Big Data领域的小白，最近自己尝试搭建了一个简易的spark集群。因此打算写篇博客记录一下整个过程。但是担心把所有部分放在一篇文章中可能导致文章过长，因此打算写成两篇。在这篇文章中，我会详细地介绍spark集群搭建的第一部分，hadoop集群的搭建。



环境介绍

虽说是一个集群，但是我总共只使用了两台ubuntu虚拟机，其中一个作为master节点,另一个作为worker节点。如果你想尝试使用更多的机器来搭建集群，也同样可以参考我的搭建过程，因为本质上差别不大。OK，下面我们

			
		

	





	

		

			

				
					
Ubuntu 16.04 Spark安装

				
			

			

				

					诺亚废船
				

				

					10-09
					
					2194
					
				

			

		

		

			
				
Spark安装步骤：1：需要安装jdk，并配置环境变量2：安装Scala，并配置环境变量3：安装Spark，配置所要用的Python版本1.安装JDK首先来安装JDK：
sudo mkdir /usr/lib/jdk在/usr/lib/目录下创建jdk文件夹，我们计划讲jdk安装在/usr/lib/jdk目录下。
切换至jdk-8u144-linux-x64.tar.gz的目录下
sudo tar

			
		

	





	

		

			

				
					
Ubuntu 16.04中 Spark安装

				
			

			

				

					weixin_44727274的博客
				

				

					03-11
					
					397
					
				

			

		

		

			
				
准备：首先准备好spark安装包
当然其他版本的也好，但jdk最好是1.8以上
可以使用ubuntu内部网站下载相关安装包，或者在windows下载之后通过ubuntu的客户端传入ubuntu
scala-2.11.12.tgz
spark-2.4.3-bin-hadoop2.7.tgz

Spark安装步骤：
1：需要安装jdk，并配置环境变量
（注：首先：配置好虚拟机：IP地址）
IP地址：可参考链接：https://blog.csdn.net/weixin_44727274/article/detai

			
		

	





	

		

			

				
					
Spark完全分布式集群安装

				
			

			

				

					bu_min的博客
				

				

					04-28
					
					2366
					
				

			

		

		

			
				
前言：本篇文章是学习spark的开篇，搭建一个spark的完全分布式集群，与大家共勉。
本次安装是之前的hadoop完全分布式集群的基础之上进行，相关软件版本如下：
     Linux系统：CentOS release 6.5 final x86-64
     Jdk：jdk1.7.0_71
     hadoop: Yarn的hadoop2.4.1
     scala:scala-2.

			
		

	





	

		

			

				
					
在Ubuntu环境部署Apache Spark集群

				
			

			

				

					chszs的专栏
				

				

					12-03
					
					3889
					
				

			

		

		

			
				
在Ubuntu环境部署Apache Spark集群作者：chszs，未经博主允许不得转载。经许可的转载需注明作者和博客主页：http://blog.csdn.net/chszs1、软件环境本文主要讲述怎样在Ubuntu系统上部署Apache Spark独立集群（Standalone Cluster）的过程。所需的软件如下：
Ubuntu 15.10 x64
Apache Spark 1.5.1
2、

			
		

	





	

		

			

				
					
spark完全分布式部署

				
			

			

				

					需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
				

				

					06-30
					
					3422
					
				

			

		

		

			
				
本实验任务主要完成基于ubuntu环境的Spark完全分布式部署、配置和调试工作。通过完成本实验任务，要求学生熟练掌握Spark完全分布式部署方法，为后续实验的开展奠定Spark平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握Spark完全分布式环境的部署本次环境是：Ubuntu16.04spark有以下几种安装模式，每种安装模式都有自己不同的优点和长处。
  local(本地模式)：
常用于本地开发测试，本地还分为local单线程和local-cluster多

			
		

	





	

		

			

				
					
Ubuntu 16.04安装Spark

				
			

			

				

					MeowingCat
				

				

					11-16
					
					713
					
				

			

		

		

			
				
在阿里云ECS服务器的Ubuntu中安装Spark
安装Spark

安装spark
从官网下载安装包并解压。
修改Spark配置文件

$ cd /usr/local/spark
$ cp cp ./conf/spark-env.sh.template ./conf/spark-env.sh

编辑spark-env.sh文件，在第一行添加： export SPARK_DIST_CLASSPAT...

			
		

	





	

		

			

				
					
Ubuntu 16.04搭建Hadoop 2.7.2完全分布式集群教程

				
			

			

				

					
				

			

		

		

			
				
"该文档详细介绍了如何在Ubuntu 16.04虚拟机上搭建Hadoop完全分布式集群，包括所需的软件版本、环境设置、用户权限配置、SSH无密码登录的实现，以及Hadoop的下载、解压和配置过程。"  在Ubuntu 16.04虚拟机中构建...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值