成功在两台电脑上安装了spark集群，mark下

最新推荐文章于 2023-11-06 16:58:47 发布
最新推荐文章于 2023-11-06 16:58:47 发布
阅读量1.5k 收藏
点赞数
分类专栏： linux bigdata
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ningyanggege/article/details/86590182
版权

一、首先查找linux系统下的集群master的ip地址；如图所示：

 

 二、然后在windows电脑上访问该ip地址；端口：50070

 

这个只是启动了Hadoop集群； 

 

 

 

 

Takoony
关注
专栏目录
hadoop3.0+spark2.0两台云服务器集群环境配置。
七和
12-19 2727
     最近买了一台云服务器（阿里云）来做web服务器，做的网站只是初步版本（www.qihea.xyz），没人访问，觉得有些浪费。加上舍友也有一台云服务器（天翼云），并且最近在学spark，于是打算在这两台机器中搭建环境。这两台机器都是1核2g的，反正对于学习时足够了。     在配置过程中我发现：我遇到的所有的bug，都是配置问题，尤其是简单的单词拼写的问题。如果你配置过程中有什么问题可以...
spark01、快速使用之spark环境设置：基于物理机centos7环境搭建分布式集群
Big_data_implicit_
11-25 267
1、配置vmware15网络 Edit-Virtual Network Editor 找到使用nat的那块虚拟网卡： 配置网段：192.168.10.0／255.255.255.0 配置NAT Settings网关：192.168.10.1 2、配置对应VMNAT的网卡地址 选中网卡点连接 以太网右上脚选中＋号，增加一个网卡配置 在新增加的网卡里，取个名称VM8 ，网卡地址选择VM8 NAT的那一块 ipv4处填写与虚拟机互联的地址：192.168.10.2／255..
IntelliJ IDEA编写的spark程序在远程spark集群上运行
weixin_30551947的博客
04-23 561
准备工作 需要有三台主机，其中一台主机充当master，另外两台主机分别为slave01，slave02，并且要求三台主机处于同一个局域网下 通过命令：ifconfig 可以查看主机的IP地址，如下图所示 本集群的三台机器的IP地址如下 10.129.0.118　　master 10.129.0.223　　slave01 10.129.0.124　　slave02 通过命令：p...
Windows10系统spark3.0.0配置
最新发布
lzq_tarena的专栏
11-06 1154
不同版本bin文件下载链接：https://gitee.com/tlbrun/hadoopWinutils/。注意：需要把%HADOOP_HOME%\bin与%HADOOP_HOME%\sbin一同加入path中。注意：需要把%SPARK_HOME%\bin与%SPARK_HOME%\sbin一同加入path中。从Apache官网下载Hadoop：https://hadoop.apache.org/官方下载网址：https://www.scala-lang.org/
Spark学习系列——在虚拟机上搭建 Spark 集群的两种方法
热门推荐
u012604314的博客
06-07 1万+
一、概述        对于想学习 spark 集群搭建及应用的人来说，专门买多台物理主机往往成本太高，其实我们只需要利用虚拟机（我用的是 VMWare）搭建多台虚拟主机即可。在学习过程中，在网上搜了各种资料，参考了很多优秀的博客，发现在虚拟机上搭建 spark 集群主要有两种方法。第一种是充分利用 VMWare 的虚拟机克隆功能，只需要配置好一台主机，直接克隆生成其他主机并修改少量配置即可
安装Spark集群
乔治大哥的博客
10-28 231
安装Spark集群 Spark安装划分 节点 Master Worker Worker c7node1 ★ c7node2 ★ ...
spark集群安装
u012246905的博客
03-08 478
一、Scala 1、scala安装：http://www.scala-lang.org/download/2.10.6.html 2、解压： tar -zxvf /home/tools/scala-2.10.6.tgz -C /home/softwares/ 3、配置环境变量：vi /etc/profile export SCALA_HOME=/home/softwares/scala
Centos7下搭建大数据处理集群（Hadoop+Spark+Hbase+Hive+Zookeeper+Kafka+Flume）详细步骤
风尘子曰
12-12 2823
一.目录 二.集群规划 三.虚拟机准备及基础配置设置 四.Hadoop 4.1安装Hadoop 4.1.1上传解压安装包 1.创建软件安装包上传目录/opt/package,Hadoop安装目录/opt/hadoop [root@hp1 opt]# mkdir package [root@hp1 opt]# mkdir hadoop 2.将下载好的Hadoop安装包上传到/opt/package...
Win10下安装Spark的尝试总结（尚未出坑）
weixin_42757820的博客
03-22 3070
今天尝试部署Spark（Win10环境），学习了很多很有帮助的文档。基本的次序也算了解了一些。但最后还是没有成功。后面继续努力吧。但学习了一些点还是值得记录下： 1-Spark类似Mysql Workbench、Navicat之类，是用来对接和分析数据的。当然比后者功能强大很多，后者更多是传统的数据查询、处理及转化等。但Spark可以进行机器学习、图形处理，对接Python、R等分析包。 （Spa...
Spark学习了解CORE、RDD等，以及基于Hadoop2.7.5的伪分布式集群搭建Spark2.3的环境部署
OnTheRoad的博客
05-20 1万+
环境准备 ：JDK1.8Hadoop2.7.5(Hadoop伪分布式搭建博客)1、Spark概述Apache Spark 是专为大规模数据处理而设计的快递通用的计算引擎Spark是UC Berkeley AMP lab所开源的类似Hadoop MR 的通用并行框架，Spark拥有Hadoop MR所具有的特点，但不同于MR的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spa...
Spark阶段总结
qq_36972345的博客
11-17 2096
kafka消费数据 同一时刻，kafka当中数据只能被一个消费者组下面的一个消费者所消费。 kafka消费者在消费数据的时候，都是分组别的。不同组的消费不受影响，相同组内的消费，需要注意，如果partition有3个，消费者有3个，那么便是每一个消费者消费其中一个partition对应的数据；如果有2个消费者，此时一个消费者消费其中一个partition数据，另一个消费者消费2个partition的数据。如果有超过3个的消费者，同一时间只能最多有3个消费者能消费得到数据， kaf.
Spark
ThreeAspects的博客
09-25 1077
SparkSparkSpark RDD Spark   基于MapReduce的计算引擎通常会将中间结果输出到磁盘上，进行存储和容错。出于任务管道承接的考虑，当一些查询翻译到MapReduce任务时，往往会产生多个Stage，而这些串联的Stage依赖底层文件系统（如HDFS）来存储每一个Stage的输出结果。Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop...
3台机器配置spark-2.1.0集群
wiseflywang的专栏
05-10 1772
一. 环境介绍 三台主机，主机名和ip分别为： ubuntu1  10.3.19.171 ubuntu2  10.3.19.172 ubuntu3  10.3.19.173 三台主机的登录用户名是bigdata，home目录是/home/bigdata 现在三台主机上部署spark集群。
成功启动spark集群程序，使用多台电脑进行计算
ningyanggege的博客
01-26 926
单独启动spark集群（不启动hadoop集群） start-spartk-all.sh spark-submit --class org.apache.spark.examples.JavaSparkPi --master spark://master001:7077 /usr/spark/spark-2.4.0-bin-hadoop2.7/examples/jars/spark-examp...
Spark学习之路 （二）Spark2.3 HA集群的分布式安装
weixin_33811961的博客
04-20 257
一、下载Spark安装包 1、从官网下载 http://spark.apache.org/downloads.html 2、从微软的镜像站下载 http://mirrors.hust.edu.cn/apache/ 3、从清华的镜像站下载 https://mirrors.tuna.tsinghua.edu.cn/apache/ 二、安装基础 1、Java8安装成功 2、zook...
小白hadoop-两台电脑的虚拟机之间互相通讯
weixin_41523684的博客
01-30 2703
由于公司电脑配置较低，一台笔记本无法搭建hadoop伪分布式环境，遂决定几人每人在笔记本上新建一个虚拟机进行分布式环境搭建，首先要解决的问题就是不同电脑上的虚拟机之间的通讯问题，经努力最终完成，现做记录  本文参考：http://www.cnblogs.com/jasmine-Jobs/p/5928218.html  虚拟机：VMware® Workstation 14 Pro Linu
两台电脑来简单搭建Windows平台下的MySQL集群
Talk is cheap，show me the code.
09-08 7664
MySQL cluster提供便捷的扩容与容灾特性
三台电脑搭建Hadoop集群
OOC_ZC的博客
01-13 7071
在寝室搭建Hadoop集群，三个室友都没有Linux，有两个装好了双系统，一个引导有问题放弃了。因为已经搭建完，这里记录一些坑点。 三个主机通过交换机相连，分别设置独立IP，无需设置网关。 先分别都能ping通，再互相都可SSH免密码登录。 配置集群配置（各个结点的配置文件需相同），这里我的主机是master，其他俩主机为slave。 注意这里主节点及其他各个节点用户名需相同。我们这里
Hadoop集群搭建（三台电脑）
前行的snail
01-02 4235
在Ubuntu12.04环境下搭建Hadoop集群
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值