安装spark的详细步骤

        </div>
        <div class="article-info-box">
            <div class="article-bar-top">
                <!--文章类型-->
                                    <!--原创-->
                                    <img class="article-type-img" src="https://csdnimg.cn/release/phoenix/template/new_img/original.png" alt="">
                                    <!--翻译-->
                                    <!--转载-->
                                    <div class="bar-content">
                                                                                                                                        <a class="follow-nickName" href="https://me.csdn.net/penyok" target="_blank" rel="noopener">penyok</a>
                <span class="time">2018-08-07 16:22:35</span>
                <img class="article-read-img article-heard-img" src="https://csdnimg.cn/release/phoenix/template/new_img/articleRead.png" alt="">
                <span class="read-count">10434</span>
                <a id="blog_detail_zk_collection" class="un-collection" data-report-click="{&quot;mod&quot;:&quot;popu_823&quot;,&quot;ab&quot;:&quot;new&quot;}">
                    <img class="article-collect-img article-heard-img un-collect-status" style="display:black" src="https://csdnimg.cn/release/phoenix/template/new_img/collect.png" alt="">
                    <img class="article-collect-img article-heard-img collect-status" style="display:none" src="https://csdnimg.cn/release/phoenix/template/new_img/tobarCollectionActive.png" alt="">
                    <span class="name">收藏</span>
                    <span class="get-collection">
                                            5                                                </span>
                </a>
                                    </div>
            </div>
                            <div class="up-time" style="left: 97.35px; display: none;"><span>最后发布:2018-08-07 16:22:35</span><span>首发:2018-08-07 16:22:35</span></div>
            <div class="slide-content-box">
            <div class="all-tags-box">
                                                                    </div>
                                                                <div class="article-copyright">
                        <div class="creativecommons">
                            <a rel="license" href="http://creativecommons.org/licenses/by-sa/4.0/"></a>
                        </div>
                        <div class="creativecommons">
                            版权声明:本文为博主原创文章,遵循<a href="http://creativecommons.org/licenses/by-sa/4.0/" target="_blank" rel="noopener"> CC 4.0 BY-SA </a>版权协议,转载请附上原文出处链接和本声明。                            </div>
                        <div class="article-source-link">
                            本文链接:<a href="https://blog.csdn.net/penyok/article/details/81483527">https://blog.csdn.net/penyok/article/details/81483527</a>
                        </div> 
                    </div>
                                                                            </div>
            <div class="operating">
                                                            <a class="href-article-edit slide-toggle">展开</a>
                                </div>
        </div>
    </div>
</div>
<!--python安装手册结束-->
                <article class="baidu_pl">
    <!--python安装手册开始-->
            
             <div id="article_content" class="article_content clearfix">
        <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-211130ba7a.css">
                        <div id="content_views" class="markdown_views prism-atom-one-dark">
                <!-- flowchart 箭头图标 勿删 -->
                <svg xmlns="http://www.w3.org/2000/svg" style="display: none;">
                    <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path>
                </svg>
                                        <p>1.下载spark的地址 <br>

http://spark.apache.org/downloads.html

2.把下载好的压缩包拖拽到虚拟机的桌面

3.把压缩包移动到/opt目录下
mv spark-2.3.1-bin-hadoop2.7.tgz /opt
4. 解压
tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz

5 .目录切换到 /opt/spark-2.3.1-bin-hadoop2.7.tgz /conf 文件夹下边
这里写图片描述
6.Spark的配置文件都在这个文件夹里边 在修改配置文件之前,查看文件夹权限
这里写图片描述
修改用户组
这里写图片描述
修改文件夹权限
这里写图片描述

之后开始修改配置文件 ,进入到conf 文件夹输入
cd spark-env.sh.template spark-env.sh
复制 spark-env.sh.template 文件夹并改名为 spark-env.sh
这里写图片描述
编辑spark-env.sh 文件 添加以下内容:
这里写图片描述
配置完成后 进入sbin目录并查看

这里写图片描述
输入./start-all.sh启动spark进程
之后输入jps 查看进程
Master和worker是spark的进程 剩下的几个是hadoop的进程
所有只要有Master和Worker这两个进程 就说明Spark已经被启动了
这里写图片描述
之后进入spark的bin目录查看
这里写图片描述
之后输入 ./pyspark 命令 出现此画面说明正常启动
这里写图片描述

        <div class="person-messagebox">
            <div class="left-message"><a href="https://blog.csdn.net/penyok">
                <img src="https://profile.csdnimg.cn/B/7/E/3_penyok" class="avatar_pic" username="penyok">
            </a></div>
            <div class="middle-message">
                                    <div class="title"><span class="tit "><a href="https://blog.csdn.net/penyok" data-report-click="{&quot;mod&quot;:&quot;popu_379&quot;,&quot;ab&quot;:&quot;new&quot;}" target="_blank">penyok</a></span>
                    <!-- 等级,level -->
                                            <img class="identity-icon" src="https://csdnimg.cn/identity/blog2.png">                                            </div>
                <div class="text"><span>原创文章 5</span><span>获赞 7</span><span>访问量 1万+</span></div>
            </div>
                            <div class="right-message">
                                        <a class="btn btn-sm  bt-button personal-watch" data-report-click="{&quot;mod&quot;:&quot;popu_379&quot;,&quot;ab&quot;:&quot;new&quot;}">关注</a>
                                                            <a href="https://im.csdn.net/im/main.html?userName=penyok" target="_blank" class="btn btn-sm bt-button personal-letter">私信
                    </a>
                                </div>
                        </div>
                    
    </div>
</article>
        <div class="hide-article-box hide-article-pos text-center" style="display: none;">
        <a class="btn-readmore" id="btn-readmore-zk" data-report-click="{&quot;mod&quot;:&quot;popu_376&quot;,&quot;dest&quot;:&quot;https://blog.csdn.net/penyok/java/article/details/81483527&quot;,&quot;strategy&quot;:&quot;readmore&quot;,&quot;ab&quot;:&quot;new&quot;}">
            展开阅读全文
            <svg class="icon chevrondown" aria-hidden="true">
                <use xlink:href="#csdnc-chevrondown"></use>
            </svg>
        </a>
    </div>   
  • 点赞 3
  • 评论
  • 分享
    x

    海报分享

    扫一扫,分享海报

  • 收藏 5
  • 手机看

    分享到微信朋友圈

    x

    扫一扫,手机阅读

  •                                 <a data-report-click="{&quot;mod&quot;:&quot;popu_830&quot; &quot;dest&quot;:&quot;&quot;,&quot;ab&quot;:&quot;new&quot;}"><img src="https://csdnimg.cn/release/phoenix/template/new_img/rewardWhite.png" alt=""><span class="name">打赏</span></a>
                    
                
                <div id="reward" class="reward-box">
    <p class="rewad-title">打赏<span class="reward-close"><svg t="1567152543821" class="icon" viewBox="0 0 1024 1024" version="1.1" xmlns="http://www.w3.org/2000/svg" p-id="10924" xmlns:xlink="http://www.w3.org/1999/xlink" width="12" height="12"><defs><style type="text/css"></style></defs><path d="M512 438.378667L806.506667 143.893333a52.032 52.032 0 1 1 73.6 73.621334L585.621333 512l294.485334 294.485333a52.074667 52.074667 0 0 1-73.6 73.642667L512 585.621333 217.514667 880.128a52.053333 52.053333 0 1 1-73.621334-73.642667L438.378667 512 143.893333 217.514667a52.053333 52.053333 0 1 1 73.621334-73.621334L512 438.378667z" fill="" p-id="10925"></path></svg></span></p>
    <dl>
    	<dd><a href="javascript:;"><img src="https://profile.csdnimg.cn/B/7/E/3_penyok" alt=""></a></dd>
    	<dt>
    		<p class="blog-name">penyok</p>
    		<p class="blog-discript">“你的鼓励将是我创作的最大动力”</p>
    	</dt>
    </dl>
    <div class="money-box">
        			            	<span class="choosed choose_money" data-id="5">5C币</span>
    		        							<span class="choose_money" data-id="10">10C币</span>
    		        							<span class="choose_money" data-id="20">20C币</span>
    		        							<span class="choose_money" data-id="50">50C币</span>
    		        							<span class="choose_money" data-id="100">100C币</span>
    		        							<span class="choose_money" data-id="200">200C币</span>
    		        	</div>
    <div class="sure-box">
    	<p class="is-have-money"><a class="reward-sure">确定</a></p>
    </div>
    
        </li>
                    <!--打赏结束-->
        <li class="tool-item tool-more">
            <a>
            <img src="https://csdnimg.cn/release/phoenix/template/new_img/lookMore.png" alt="">
            </a>
            <ul class="more-box">
                <li class="item"><a class="article-report">文章举报</a></li>
            </ul>
        </li>
    </ul>
    <div style="display:flex">
                    <a class="tool-mover-open" id="btn-readmore" style="" data-type="0" data-report-click="{&quot;mod&quot;:&quot;popu_376&quot;,&quot;dest&quot;:&quot;https://blog.csdn.net/penyok/java/article/details/81483527&quot;,&quot;strategy&quot;:&quot;packupbar&quot;,&quot;ab&quot;:&quot;new&quot;}" height="2">
            <span>收起全文</span>
            <img id="btn-close-img" style="display: block;" src="https://csdnimg.cn/release/phoenix/template/new_img/CommentArrow.png" alt="">
        </a>
     </div>
</div>  
还能输入1000个字符
<div class="comment-list-container">
	<a id="comments"></a>
	<div class="comment-list-box">
	</div>
	<div id="commentPage" class="pagination-box d-none"></div>
	<div class="opt-box text-center">
		<div class="btn btn-sm btn-link-blue" id="btnMoreComment"></div>
	</div>
</div>
spark尚硅谷视频教程
09-18
<div class="recommend-item-box  recommend-download-box clearfix">
	<a href="https://download.csdn.net/download/qq_41275160/10714082" rel="noopener" target="_blank" data-report-click="{&quot;mod&quot;:&quot;popu_387&quot;,&quot;index&quot;:&quot;4&quot;,&quot;strategy&quot;:&quot;BlogCommendFromMachineLearnPai2&quot;,&quot;dest&quot;:&quot;https:\/\/download.csdn.net\/download\/qq_41275160\/10714082&quot;,&quot;ab&quot;:&quot;new&quot;}" data-report-query="utm_medium=distribute.pc_relevant.none-task-download-BlogCommendFromMachineLearnPai2-4&amp;depth_1-utm_source=distribute.pc_relevant.none-task-download-BlogCommendFromMachineLearnPai2-4">
		<div class="content clearfix">
			<div class="">
				<h4 class="text-truncate oneline clearfix">
					<!-- <span class="recommend-article-type">下载</span> -->
					完整的<em>spark</em><em>安装</em>指南(带图)					</h4>
				<span class="data float-right">10-11</span>
			</div>
		</div>
	</a>
</div>
安装spark详细步骤_大数据_penyok的博客-CSDN博客

5-5

spark 安装详细步骤_大数据_Nurbiya_K的博客-CSDN博客

5-6

Spark安装及配置详细步骤_spark,大数据_qq_41126685的博客-CSDN博客

5-3

大数据时代--windows下spark安装与配置教程_Silence-wen-CSDN博客

1-6

Spark安装与配置_大数据_Li_and_Li的博客-CSDN博客

3-31

Spark项目实战-Spark客户端安装_大数据_上海一九四三-CSDN博客

4-10

...时代--windows下spark安装与配置教程(转)_Andy的博客-CSDN博客

1-12

spark安装技巧_大数据_keny-风清扬的博客-CSDN博客

4-13

spark安装与使用(入门)_大数据_qinzhaokun的专栏-CSDN博客

2-25

spark 安装部署与介绍_大数据_我还是个菜鸟-CSDN博客

5-6

敖丙

02-13 25万+

毕业5年,我问遍了身边的大佬,总结了他们的学习方法

敖丙

02-14 4万+

大学四年,因为知道这些开发工具,我成为别人眼中的大神

沉默王二

02-16 7万+

这些插件太强了,Chrome 必装!尤其程序员!

龙跃十二

02-27 5万+

我以为我学懂了数据结构,直到看了这个导图才发现,我错了
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值