实战环境搭建二

最新推荐文章于 2024-02-22 09:52:22 发布
最新推荐文章于 2024-02-22 09:52:22 发布
阅读量131 收藏
点赞数
分类专栏： 学习笔记 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huxin9611/article/details/89739318
版权

Spark环境搭建

Spark安装
下载（下载Spark的源代码）-解压-配置系统环境变量-检查是否安装成功
spark官网下载（根据spark的源码进行编译）

运行spark：
./spark-shell (如果是本地测试就用local，如果是跑在集群上就用yarn) （最终项目是跑在yarn上进行演示）
./spark-shell --master local[2]

在这里插入图片描述

Spark context Web UI available at http://192.168.15.130:4040

在这里插入图片描述

使用IDEA整合MAVEN搭建Spark Streaming 开发环境

pom.xml里添加相应的依赖

huxin9611
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【项目实战】环境搭建
pengpengsays
09-22 512
虚拟机准备 安装说明 & 文件下载 下载并安装 Virtual Box，准备并安装 3 台 CentOS 7.2 的虚拟机，主机名命名为 Node01、Node02、Node03。 虚拟机的安装可以使用纯系统镜像，安装后配置主机名。但过程会比较繁琐，学习环境讲求开箱即用，尽量少地在环境上花费时间，否则会打击学习的热情。所以，也可以直接导入已经配置好的虚拟机镜像文件，方便使用。 使用纯镜像安装，下附...
项目实战-环境搭建
TianLiaoFeiJue的博客
10-15 218
项目实战-SpringBoot+JPA+MySql+Idea环境搭建主要配置文件讲解功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与...
实战环境搭建一
huxin9611的博客
05-01 249
JDK安装 Scala安装 下载-解压-配置到系统环境变量中 Maven安装 Hadoop安装 下载-解压-配置到系统环境变量-检查是否成功 配置ssh：ssh-keygen -t rsa 全部回车 ll -a查看到有一个.ssh目录 [hadoop@hadoop000 .ssh]$ ls id_rsa id_rsa.pub known_hosts [hadoop@hadoop000 ...
Jenkins环境搭建与实战
共勉
01-28 1751
Jenkins是一个可扩展的持续集成引擎。 持续集成，就是通常所说的CI（Continues Integration），可以说是现代软件技术开发的基础。 持续集成是一种软件开发实践，即团队开发成员经常集成他们的工作，通常每个成员至少集成一次，也意味着每天可能会发生多次集成。 每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，从而尽快地发现集成错误。许多团队发现这个过程可以大大减少集成的问题，让团队能够更快的开发内聚的软件。
Kubernetes 1.15 环境搭建实战（iptables篇）
engchina的专栏
06-20 3690
使用 kubeadm 搭建Kubernetes 1.15单节点集群实战（基于Oracle Linux 7.6） 前提： a，安装Oracle VirtualBox，创建Oracle Linux 7.6虚机。 Oracle VirtualBox下载地址：https://www.virtualbox.org/wiki/Downloads Oracle Linux 7.6下载地址：https:/...
Electron实战之环境搭建
最新发布
xiangzhihong8的专栏
02-22 2052
工欲善其事必先利其器，在进行实战开发的时候，我们最终的步骤是搞好一个舒服的开发环境，目前支持 Vue 的 Electron 工程化工具主要有 electron-vue、Vue CLI Plugin Electron Builder、electron-vite。接下来我们将分别介绍基于 Vue CLI Plugin Electron Builder 和 electron-vite 的开发环境搭建。
大数据实战平台环境搭建
ZShiJ的博客
04-18 2642
大数据实战平台环境搭建
kubebuilder实战二：环境搭建
xingyunyang的博客
07-29 558
kubebuilder开发环境的安装
MITRE ATT&CK实战环境搭建
ailx10
07-13 580
首先ATT&CK是一个重要概念，在企业安全圈子里掀起了轩然大波，甲方爸爸点名企业安全标书要有ATT&CK。那么这个高大上的词到底是啥呢？看看官方的解释：ATT&CK is the Adversarial Tactics Techniques and Common Knowledge framework available from MITRE.ATT＆CK是MITRE提供的...
第3章 实战环境搭建
weixin_38492276的博客
08-25 551
3-1课程目录 实战环境搭建 Spark 源码编译 Spark环境搭建 Spark 简单使用 3-2 -Spark源码编译 1、下载到官网（源码编译版本）（http://spark.apache.org/downloads.html） wget https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0.tgz 2、编译步...
各类测试环境搭建实战
06-12
总的来说，“各类测试环境搭建实战”是一门全面覆盖了IT基础环境构建的课程，无论是对初学者还是经验丰富的专业人士，都能从中获取实用的知识和技能，以提升工作效率并保证软件质量。通过实践操作，学员将能更好地...
Sentinel 实战-集群限流环境搭建1
08-03
本篇实战将介绍如何在 C# 环境下搭建 Sentinel 的集群限流环境。 首先，为了使用集群流控，我们需要配置一个动态规则源，以便通过 Sentinel 控制台实时推送规则。在这个例子中，我们将使用 Nacos 作为规则源的配置...
MySQL Group Replication环境搭建实战手册
09-16
MySQL Group Replication环境搭建实战手册
Android开发入门环境快速搭建实战教程
08-28
最近想重新学习下Android，学习之前开发环境的搭建是个首先要解决的问题，所以下面这篇文章主要给大家介绍了Android开发环境搭建的相关资料，文中将实现的步骤一步步介绍的非常详细，需要的朋友们下面随着小编来一起...
Spark Streaming项目实战
huxin9611的博客
05-09 1846
需求说明 今天到现在为止实战课程的访问量 从今天到现在为止从搜索引擎引流过来的实战课程访问量 互联网访问日志概述 为什么要记录用户访问日志 1）网站页面的访问量 2）网站的黏性 3）推荐 用户行为日志内容 用户行为日志分析的意义 网站的眼睛 网站的神经 网站的大脑 Python日志产生器开发之产生访问url和ip信息 使用Python脚本实时产生数据 Python实时日志产生器开发 新建 gene...
Linux下c语言编程之Makefile文件的编写
huxin9611的博客
08-05 510
首先，add.c文件编写 #include"test.h" #include<stdio.h> int add(int a,int b){ return a+b; } int main(){ printf(" 2 + 3 = %d\n",add(2,3)); printf(" 2 - 3 = %d\n",add(2,3)); ...
camera（1）
huxin9611的博客
08-02 256
相机模组 镜头(OPTICS 光学知识) 滤光片 图像传感器（模拟电路、数字电路） 音圈电机 OTP–EEPROM（存储） 接口（MIPI.I2C.POWER） 算法（3A） AE Frame Average(帧平均) Center Weighted（中央重点测光） AWB Gray World White World AF ISP ...
实时流处理项目笔记一
huxin9611的博客
04-27 226
修改配置文件需要root权限， sudo command 只有一个地方需要修改 /etc/hosts 192.168.15.129 hadoop000 192.168.15.129 localhost hadoop生态系统：cdh5.7.0 下载地址http://archive.cloudera.com/cdh5/cdh/5/ jdk：1.8 spark：2.2 scala：2.11.8 spar...
搭建windows测试环境技术ad安装.pptx
11-21
"该资源是关于如何搭建Windows测试环境，特别是AD（Active Directory）的安装教程。内容包括DNS服务器的配置、AD的安装以及一系列AD相关的实验操作，旨在帮助学习者掌握活动目录的管理和使用。" 在搭建Windows测试...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值