Spark教程——（1）安装Spark

最新推荐文章于 2024-02-28 22:34:15 发布
最新推荐文章于 2024-02-28 22:34:15 发布
阅读量256 收藏
点赞数
文章标签： java 大数据 scala
原文链接：http://www.cnblogs.com/ratels/p/10758879.html
版权

Cloudera Manager介绍

    Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。
CM技术架构
　　Agent：安装在每台主机上。该代理负责启动和停止的过程，拆包配置，触发装置和监控主机。
　　 Management Service：由一组执行各种监控，警报和报告功能角色的服务。
　　 Database：存储配置和监视信息。通常情况下，多个逻辑数据库在一个或多个数据库服务器上运行。例如，Cloudera的管理服务器和监控角色使用不同的逻辑数据库。
　　 Cloudera Repository：软件由Cloudera 管理分布存储库。
　　 Clients：是用于与服务器进行交互的接口：
　　 Admin Console ：基于Web的用户界面与管理员管理集群和Cloudera管理。
　　 API ：与开发人员创建自定义的Cloudera Manager应用程序的API。
CM四大功能

　　管理：对集群进行管理，如添加、删除节点等操作。
　　监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。
　　诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。
　　集成：对hadoop的多组件进行整合。

 

需要安装的组件

Cloudera Manager

CDH

JDK

Mysql（主节点）  + JDBC

需要注意的是CDH的版本需要等于或者小于CM的版本

 

相关的设置

主机名和hosts文件

关闭防火墙

ssh无密码登陆

配置NTP服务 

关闭SElinux状态

配置集群

配置数据库

 

一些安装过程

主节点安装cloudera manager

把我们下载好的cloudera-manager-*.tar.gz包和mysql驱动包mysql-connector-java-*-bin.jar放到主节点cm0的/opt中。

Cloudera Manager建立数据库 

使用命令 cp mysql-connector-java-5.1.40-bin.jar   /opt/cm-5.8.2/share/cmf/lib/ 把mysql-connector-java-5.1.40-bin.jar放到/opt/cm-5.8.2/share/cmf/lib/中。 

使用命令 /opt/cm-5.8.2/share/cmf/schema/scm_prepare_database.sh mysql cm  -h cm0  -u  root  -p  123456  --scm-host  cm0  scm scm scm  在主节点初始化CM5的数据库。

实际位置：/usr/share/cmf/schema/scm_prepare_database.sh

Agent配置 

使用命令 vim  /opt/cm-5.8.2/etc/cloudera-scm-agent/config.ini 主节点修改agent配置文件。

在主节点cm0用命令 scp -r   /opt/cm-5.8.2     root@cm1:/opt/ 同步Agent到其他所有节点。

实际位置：/etc/cloudera-scm-agent/config.ini 

在所有节点创建cloudera-scm用户

 使用命令 useradd --system --home=/opt/cm-5.8.2/run/cloudera-scm-server/  --no-create-home  --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 

启动cm和agent 

主节点cm0通过命令 /opt/cm-5.8.2/etc/init.d/cloudera-scm-server start 启动服务端。

所有节点通过命令 /opt/cm-5.8.2/etc/init.d/cloudera-scm-agent start 启动Agent服务。（所有节点都要启动Agent服务，包括服务端）

Cloudera Manager Server和Agent都启动以后，就可以进行尝试访问了。http://master:7180/cmf/login

实际位置：/etc/rc.d/init.d/cloudera-scm-server 和 /etc/rc.d/init.d/cloudera-scm-agent

补充：/etc/init.d 是 /etc/rc.d/init.d 的软链接(soft link)。/etc/init.d里的shell脚本能够响应start，stop，restart，reload命令来管理某个具体的应用。比如经常看到的命令： /etc/init.d/networking start 这些脚本也可被其他trigger直接激活执行，这些trigger被软连接在/etc/rcN.d/中。这些原理似乎可以用来写daemon程序，让某些程序在开关机时运行。

CDH的安装和集群配置

新建目录为 /opt/cloudera/parcel-repo ，把之前下载的安装文件放到主节点的这个目录下。

安装parcel，安装过程中有什么问题，可以用 /opt/cm-5.8.2/etc/init.d/cloudera-scm-agent status ， /opt/cm-5.8.2/etc/init.d/cloudera-scm-server status 查看服务器客户端状态。

也可以通过 /var/log/cloudera-scm-server/cloudera-scm-server.log ， /var/log/cloudera-scm-agent/cloudera-scm-agent.log 查看日志。

如果上面的路径找不到则在日志文件夹＂/opt/cm-5.8.2/log＂查看日志，里面包含server和agent的log，使用命令如下:

tail -f /opt/cm-5.8.2/log/cloudera-scm-server/cloudera-scm-server.log

tail -f /opt/cm-5.8.2/log/cloudera-scm-agent/cloudera-scm-agent.log

实际位置： /var/log/cloudera-scm-server/cloudera-scm-server.log 和 /var/log/cloudera-scm-agent/cloudera-scm-agent.log

 

遇到的一些问题

问题一：

[root@node1 ~]# spark-shell
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
        at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:123)
        at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:123)
        at scala.Option.getOrElse(Option.scala:120)
        at org.apache.spark.deploy.SparkSubmitArguments.mergeDefaultSparkProperties(SparkSubmitArguments.scala:123)
        at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:109)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:114)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 7 more

查找spark-env.sh文件的位置：

[root@node1 /]# find / -name spark-env.sh
find: ‘/proc/19016’: No such file or directory
/run/cloudera-scm-agent/process/441-spark2_on_yarn-SPARK2_YARN_HISTORY_SERVER/aux/client/spark-env.sh
/run/cloudera-scm-agent/process/441-spark2_on_yarn-SPARK2_YARN_HISTORY_SERVER/spark2-conf/spark-env.sh
……
/run/cloudera-scm-agent/process/51-spark_on_yarn-SPARK_YARN_HISTORY_SERVER-SparkUploadJarCommand/aux/client/spark-env.sh
/run/cloudera-scm-agent/process/51-spark_on_yarn-SPARK_YARN_HISTORY_SERVER-SparkUploadJarCommand/spark-conf/spark-env.sh
find: ‘/run/user/990/gvfs’: Permission denied
/etc/spark/conf.cloudera.spark_on_yarn/spark-env.sh
/etc/spark2/conf.cloudera.spark2_on_yarn/spark-env.sh
/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/etc/spark/conf.dist/spark-env.sh

 打开 /etc/spark2/conf.cloudera.spark2_on_yarn/spark-env.sh ，查看到一些内容：

export SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.1.0.cloudera4-1.cdh5.13.3.p0.818552/lib/spark2

export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop

export SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:$(paste -sd: "$SELF/classpath.txt")"

并在文件的最后追加内容：

export SPARK_DIST_CLASSPATH=$(hadoop classpath)

问题没有解决！

打开 /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/etc/spark/conf.dist/spark-env.sh ，查看到一些内容：

export STANDALONE_SPARK_MASTER_HOST=`hostname`
export SPARK_MASTER_IP=$STANDALONE_SPARK_MASTER_HOST
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_DIR=/var/run/spark/work
export SPARK_LOG_DIR=/var/log/spark
export SPARK_PID_DIR='/var/run/spark/'
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:$SPARK_LIBRARY_PATH/spark-assembly.jar"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/usr/lib/hadoop/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/usr/lib/hadoop/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/usr/lib/hadoop-hdfs/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/usr/lib/hadoop-hdfs/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/usr/lib/hadoop-mapreduce/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/usr/lib/hadoop-mapreduce/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/usr/lib/hadoop-yarn/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/usr/lib/hadoop-yarn/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/usr/lib/hive/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/usr/lib/flume-ng/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/usr/lib/parquet/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/usr/lib/avro/*"
在 /etc/spark2/conf.cloudera.spark2_on_yarn/spark-env.sh 文件的末尾追加以下内容：
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/spark/lib/spark-assembly.jar"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop-hdfs/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop-hdfs/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop-mapreduce/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop-mapreduce/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop-yarn/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop-yarn/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hive/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/flume-ng/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/parquet/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/avro/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/jars/*"
export SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/jars/*"

问题依然没有解决！

在 /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/etc/spark/conf.dist/spark-env.sh 文件的末尾追加以下内容：

SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/spark/lib/spark-assembly.jar"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop-hdfs/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop-hdfs/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop-mapreduce/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop-mapreduce/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop-yarn/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop-yarn/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hive/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/flume-ng/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/parquet/lib/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/avro/*"
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/jars/*"
export SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/jars/*"
问题解决！执行命令 spark-shell ，返回信息如下：
[root@node1 ~]# spark-shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/jars/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/jars/avro-tools-1.7.6-cdh5.14.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/jars/pig-0.12.0-cdh5.14.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/jars/slf4j-simple-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.0
      /_/

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_131)
Type in expressions to have them evaluated.
Type :help for more information.
Spark context available as sc (master = local[*], app id = local-1556108940010).
19/04/24 20:29:02 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
SQL context available as sqlContext.

scala>
执行Spark自带的案例程序：
spark-submit --class org.apache.spark.examples.SparkPi --executor-memory 500m --total-executor-cores 1 /opt/cloudera/parcels/SPARK2-2.1.0.cloudera4-1.cdh5.13.3.p0.818552/lib/spark2/examples/jars/spark-examples_2.11-2.1.0.cloudera4.jar

返回信息如下：

[root@node1 ~]# spark-submit --class org.apache.spark.examples.SparkPi --executor-memory 500m --total-executor-cores 1 /opt/cloudera/parcels/SPARK2-2.1.0.cloudera4-1.cdh5.13.3.p0.818552/lib/spark2/examples/jars/spark-examples_2.11-2.1.0.cloudera4.jar
SLF4J: Class path contains multiple SLF4J bindings.
……
19/04/25 18:00:27 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriverActorSystem@10.200.101.131:38370]
19/04/25 18:00:27 INFO ui.SparkUI: Started SparkUI at http://10.200.101.131:4040
19/04/25 18:00:27 INFO spark.SparkContext: Added JAR file:/opt/cloudera/parcels/SPARK2-2.1.0.cloudera4-1.cdh5.13.3.p0.818552/lib/spark2/examples/jars/spark-examples_2.11-2.1.0.cloudera4.jar at spark://10.200.101.131:37025/jars/spark-examples_2.11-2.1.0.cloudera4.jar with timestamp 1556186427964
19/04/25 18:00:28 INFO scheduler.DAGScheduler: Got job 0 (reduce at SparkPi.scala:36) with 2 output partitions
19/04/25 18:00:28 INFO scheduler.DAGScheduler: Final stage: ResultStage 0 (reduce at SparkPi.scala:36)
19/04/25 18:00:28 INFO executor.Executor: Fetching spark://10.200.101.131:37025/jars/spark-examples_2.11-2.1.0.cloudera4.jar with timestamp 1556186427964
19/04/25 18:00:28 INFO util.Utils: Fetching spark://10.200.101.131:37025/jars/spark-examples_2.11-2.1.0.cloudera4.jar to /tmp/spark-c8bb0344-ce1a-4acc-98d8-dfdebd6b95d6/userFiles-c39c4a70-c9b0-40f7-b48f-cf0f4d46042e/fetchFileTemp8308576688554785370.tmp
19/04/25 18:00:28 INFO executor.Executor: Adding file:/tmp/spark-c8bb0344-ce1a-4acc-98d8-dfdebd6b95d6/userFiles-c39c4a70-c9b0-40f7-b48f-cf0f4d46042e/spark-examples_2.11-2.1.0.cloudera4.jar to class loader
……
Pi is roughly 3.134555672778364
……
19/04/25 18:00:29 INFO ui.SparkUI: Stopped Spark web UI at http://10.200.101.131:4040
19/04/25 18:00:29 INFO spark.MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
19/04/25 18:00:29 INFO storage.MemoryStore: MemoryStore cleared
19/04/25 18:00:29 INFO storage.BlockManager: BlockManager stopped
19/04/25 18:00:29 INFO storage.BlockManagerMaster: BlockManagerMaster stopped
19/04/25 18:00:29 INFO scheduler.OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
19/04/25 18:00:29 INFO spark.SparkContext: Successfully stopped SparkContext
19/04/25 18:00:29 INFO util.ShutdownHookManager: Shutdown hook called
19/04/25 18:00:29 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-c8bb0344-ce1a-4acc-98d8-dfdebd6b95d6

 从上面的信息可以看出，案例程序的运算结果为“Pi is roughly 3.134555672778364”

 

 参考：

https://www.jianshu.com/p/1ed522c1ad1e

https://www.cnblogs.com/felixzh/p/9082344.html

转载于:https://www.cnblogs.com/ratels/p/10758879.html

weixin_30537391
关注
CM5.12.1安装spark2.2.0cloudera2详细过程（附截图）
04-10
cm5.12.1 spark2.2.0 安装文档，详细记录过程中每个步骤截图
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。...
CM5.12.1离线安装spark2.2
强者的博客
08-23 982
在CDH集群中spark1和Spark2版本可以共存，为了更好的体验及使用Spark新版本的API或修改已知旧版本的bug，现需要将CDH集群中安装Spark2.2，本节主要介绍如何通过Cloudera Manager离线安装Spark2.2。
Java Scala Spark安装及配置
AthlenaA的博客
11-28 801
Java 把JAVA环境变量设置到“WINDOWS系统变量"中是最简单的方式，也是对多用户环境下有利的方式。 随着JAVA版本的升级、WINDOWS操作系统的升级、ECLIPSE愈加智能化。一些设置不是必须的，比如JAVA_HOME的设置。 下面是有兼容性的JAVA环境变量设置方式。 1.软件环境如下所示： 操作系统 WINDOWS 10 JAVA JDK 1.8 2.WINDOW环境变量对话框位...
Spark最详细安装和介绍--JavaApi!!!!!!!
04-07 4272
Spark概述 Spark官方介绍： Spark是什么? Apache Spark是用于大规模数据处理的统一分析引擎 Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。 官网 http://spark.apache.org http://spark.apachecn.org Spark特点 快 ...
Java接入Apache Spark（入门环境搭建、常见问题）
qq_43170312的博客
01-08 2668
Apache官网：https://spark.apache.org/将下载好的hadoop-3.3.6.tar.gz包，放到想要安装的目录，我这里是放在D盘（D:\hadoop-3.3.6.tar.gz）解压hadoop-3.3.6.tar.gz文件【注意：需要在cmd中以管理员身份运行】 进入文件目录 等待执行结束配置HADOOP_HOME环境变量，进入 此电脑 -> 右键 -> 属性 -> 高级系统设置 -> 环境变量 选择新建，配置变量名 HADOOP_HOME ，变量值为 hadoop的解压路径
【Spark研究】极简 Spark 入门笔记——安装和第一个回归程序
06-20
一、Spark 的安装和配置 Spark 的安装和配置其实可以是异常简单的。只需要两个依赖项：一个 Linux 操作系统和 Java 开发环境 JDK。使用预编译包，解压缩，然后添加系统路径即可。 二、Spark 终端 Spark 提供了一...
Spark——SparkContext简单分析1
08-08
SparkContext是Spark程序开发的核心类，它是与Spark集群交互的起点。SparkContext的主要职责是建立与Spark集群的连接，创建RDD（弹性分布式数据集），管理累加器和广播变量。在Spark 2.0.1版本中，SparkContext扮演...
spark安装须知：SPARK_DIST_CLASSPATH配置
学亮编程手记
07-02 4992
请注意，Spark2.x是用Scala2.11预构建的，但2.4.2版本除外，它是用Scala2.12预构建的。Smark3.0+是用Scala2.12预构建的。 spark-env.sh中配置： export SPARK_DIST_CLASSPATH=$(/opt/bigdata/hadoop-2.9.2/bin/hadoop classpath) 有了SPARK_DIST_CLASSPATH配置信息以后，Spark就可以把数据存储到Hadoop分布式文件系统HDFS中，也可以从HDFS中读取数据。如
SPARK_DIST_CLASSPATH配置
自渡
12-27 1110
请注意，Spark2.x是用Scala2.11预构建的，但2.4.2版本除外，它是用Scala2.12预构建的。Smark3.0+是用Scala2.12预构建的。 spark-env.sh中配置： export SPARK_DIST_CLASSPATH=$(/opt/bigdata/hadoop-2.9.2/bin/hadoop classpath) 有了SPARK_DIST_CLASSPATH配置信息以后，Spark就可以把数据存储到Hadoop分布式文件系统HDFS中，也可以从HDFS中读取数据。如果
Spark2.1.0安装与配置（单机版）
WQS
07-25 2026
该安装教程是承接Spark源码编译B站教程所制，因此所使用的安装包是在Spark源码编译教程中得到文件以及官网的，其实两个文件的功能几乎相同。关于为什么进行Spark源码编译，主要是因为个人喜好，编译在个人看来只是一种体验。下载官网https提供的安装包，毕竟是官方的，会可靠点，其中有without-hadoop和hadoop2.x或hadoop3.x的，是含hive支持的，是不含hive支持的，含支持的编译命令与自定义编译的命令是相同的（除了hadoop版本，可查看安装包文件中根目录的文件）......
Spark环境搭建（保姆级教程）
热门推荐
tangyi2008的专栏
02-24 5万+
Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。
Spark的安装配置（spark-3.1.1-bin-hadoop2.7）
大数据
03-01 5256
配之前准备 将scala-2.12.13.tgz和spark-3.1.1-bin-hadoop2.7.tgz安装包上传到xshell 在xshell上解压压缩包 输入解压命令： tar -zxvf scala-2.12.13.tgz tar -zxvf spark-3.1.1-bin-hadoop2.7.tgz 配置 1、配置环境变量 vim .bashrc 在文件末尾添加如下内容： #spark export SPARK_HOME=/home/...
spark初体验
张兆坤
03-31 1万+
现在这个美好的时代，作为一个技术人，如果连Spark的大名都不知道，那显然是说不过去的，话说大数据的时候，必提Hadoop、Spark。我跟进Spark也好些日子，这次用最新搭建的Hadoop实验集群用最新的Spark来体验了一把酸甜苦辣!
Spark完全分布式集群搭建_路漫漫远俢兮
路漫漫远修兮
06-01 336
1.搭建链接： https://www.jianshu.com/p/30d45fa044a2 2.补充： 上面链接中，在spark-env.sh加上export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/hadoop-2.9.2/bin/hadoop classpath) 上面地址为自己hadoop安装地址,没有会报错（本人是这样） 上面链接中本人用的是：scp 压缩的spark文件 主机名：安装目录 进行文件传输的，使用作者的不知道保存到那里去了.
Spark环境搭建和使用方法
Morse_Chen的博客
12-14 4758
本文讲解如何在Linux系统中安装Spark并配置Spark环境，以及Spark的基本使用方法。
Spark On YARN内存分配
lulynn的博客
09-02 1956
http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html 非常好的文章，推荐。 本文主要了解Spark On YARN部署模式下的内存分配情况，因为没有深入研究Spark的源代码，所以只能根据日志去看相关的源代码，从而了解“为什么会这样，为什么会那样”。 说明 按照Spark应用程序中的driver分布方式不同
spark的保姆级配置教程
最新发布
2202_75334392的博客
02-28 2062
如果报以下错误，就输入conda activate pyspark 激活环境。pip下载pyhive、pyspark、jieba包。该环境搭建spark使用spark-2.4.0版本。一样运用xshell上传文件。解压之后进行重命名，重命名为。在文件后面追加下面的内容。路径根据你自己的修改。
大数据hadoop与spark研究——1 spark环境搭建
03-16
1. 安装Java环境：Spark是基于Java开发的，所以需要先安装Java环境。 2. 下载Spark：从官网下载Spark的二进制包，解压到本地目录。 3. 配置环境变量：将Spark的bin目录添加到系统的PATH环境变量中。 4. 配置Spark...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值