spark学习记录

最新推荐文章于 2023-06-11 20:20:33 发布
最新推荐文章于 2023-06-11 20:20:33 发布
阅读量657 收藏
点赞数
文章标签： big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44595582/article/details/122060696
版权
搭建云服务器，大数据组件学习记录
摘要由CSDN通过智能技术生成

云服务器环境搭建（从0）

阿里云申请一个云服务器，1核2G，一个月免费试用中。

登陆默认在 “/root”

目录

linux目录结构

bin boot dev etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var

/bin bin 是 Binaries (二进制文件) 的缩写, 这个目录存放着最经常使用的命令。

/boot 这里存放的是启动 Linux 时使用的一些核心文件，包括一些连接文件以及镜像文件。

/dev dev 是 Device(设备) 的缩写, 该目录下存放的是 Linux 的外部设备，在 Linux 中访问设备的方式和访问文件的方式是相同的。

/etc etc 是 Etcetera(等等) 的缩写,这个目录用来存放所有的系统管理所需要的配置文件和子目录。

/home用户的主目录，在 Linux 中，每个用户都有一个自己的目录，一般该目录名是以用户的账号命名的，如上图中的 alice、bob 和 eve。

/lib lib 是 Library(库) 的缩写这个目录里存放着系统最基本的动态连接共享库，其作用类似于 Windows 里的 DLL 文件。几乎所有的应用程序都需要用到这些共享库。

media linux 系统会自动识别一些设备，例如U盘、光驱等等，当识别后，Linux 会把识别的设备挂载到这个目录下。
ls /media 为空

mnt 系统提供该目录是为了让用户临时挂载别的文件系统的，我们可以将光驱挂载在 /mnt/ 上，然后进入该目录就可以查看光驱里的内容了。
ls /mnt 为空

/opt opt 是 optional(可选) 的缩写，这是给主机额外安装软件所摆放的目录。比如你安装一个ORACLE数据库则就可以放到这个目录下。默认是空的。
ls /opt 为空
后面的zk，spark我都放在了opt下，下载的压缩包也是

/proc proc 是 Processes(进程) 的缩写，/proc 是一种伪文件系统（也即虚拟文件系统），存储的是当前内核运行状态的一系列特殊文件，这个目录是一个虚拟的目录，它是系统内存的映射，我们可以通过直接访问这个目录来获取系统信息。
这个目录的内容不在硬盘上而是在内存里，我们也可以直接修改里面的某些文件，比如可以通过下面的命令来屏蔽主机的ping命令，使别人无法ping你的机器：

echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all

/root 该目录为系统管理员，也称作超级权限者的用户主目录。
root用户一登陆在/root路径，为空

/sbin s 就是 Super User 的意思，是 Superuser Binaries (超级用户的二进制文件) 的缩写，这里存放的是系统管理员使用的系统管理程序。

/srv 该目录存放一些服务启动之后需要提取的数据。
ls /srv 为空

/sys 这是 Linux2.6 内核的一个很大的变化。该目录下安装了 2.6 内核中新出现的一个文件系统 sysfs 。
sysfs 文件系统集成了下面3种文件系统的信息：针对进程信息的 proc 文件系统、针对设备的 devfs 文件系统以及针对伪终端的 devpts 文件系统。
该文件系统是内核设备树的一个直观反映。
当一个内核对象被创建的时候，对应的文件和目录也在内核对象子系统中被创建。

/tmp tmp 是 temporary(临时) 的缩写这个目录是用来存放一些临时文件的。

/usr usr 是 unix shared resources(共享资源) 的缩写，这是一个非常重要的目录，用户的很多应用程序和文件都放在这个目录下，类似于 windows 下的 program files 目录。
/usr/bin 系统用户使用的应用程序。
/usr/sbin超级用户使用的比较高级的管理程序和系统守护程序。
/usr/src 内核源代码默认的放置目录。

/var var 是 variable(变量) 的缩写，这个目录中存放着在不断扩充着的东西，我们习惯将那些经常被修改的目录放在这个目录下。包括各种日志文件。

/run 是一个临时文件系统，存储系统启动以来的信息。当系统重启时，这个目录下的文件应该被删掉或清除。如果你的系统上有 /var/run 目录，应该让它指向 run。

Reference

Java8 安装

yum -y list java* 可以看到可安装的Java版本
其中带有“-devel”的是jdk，否则是jre。

yum install -y java-1.8.0-openjdk-devel.x86_64

获取jdk的安装目录

rpm -ql java-1.8.0-openjdk

发现在/usr/lib/jvm路径下

至此，yum安装jdk完成。

也可以通过官方安装包进行安装。

Conference

Zookeeper 安装

我装的是3.5.9

wget https://dlcdn.apache.org/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz
tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz
cd apache-zookeeper-3.5.9/conf
cp zoo_sample.cfg zoo.cfg
cd ..
cd bin
sh zkServer.sh start

查看server状态

sh zkServer.sh status

坑：3.5.5后，带有bin名称的包才是我们想要的下载可以直接使用的里面有编译后的二进制的包，而之前的普通的tar.gz的包里面是只是源码的包无法直接使用。

启动客户端

sh zkCli.sh

Conference

Hadoop 安装

Conference
我装的是2.7.5
配置一下ssh
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.3.1.tar.gz（清华源只有2.10 3.3）
tar -zxvf
自带HDFS、Yarn，开启
3.3.1版本，要使用HDFS需要在 /etc/profile 添加

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

后在/hadoop 执行 start-dfs.sh 即可开启 nameNode dataNode secondaryNameNode 进程

Spark 2.3 HA 集群分布式 安装

前提：
Java8安装
Zookeeper安装
Hadoop2.7.5 HA安装
Scala安装

只能下载2.4了

wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz

3.3.1的hadoop，下载3.2.0的spark（基于3.3后的hadoop）

wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz

  1. 先启动Zookeeper
    cd 到 ZooKeeper/bin 执行 sh zkServer.sh start
    sh zkServer.sh status 查看运行状态
    jps 查看是否有QuorumPeerMain线程（zk入口类线程）
    如果失败 执行sh zkServer.sh start-forground 带日志的执行

  2. 启动 spark
    cd 到 spark/sbin
    执行 start-all.sh 会启动yarn和hdfs
    执行 sh start-master.sh 启动spark的master
    执行 sh start-slave.sh 启动spark的worker
    (记得spark/conf/spark-env 加入 SPARK_MASTER_HOST=localhost)

  3. spark on Yarn
    测试pi例子
    在spark目录执行

    bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 500M \
--executor-memory 500m \
--executor-cores 1 \
./examples/jars/spark-examples_2.11-2.4.8.jar \
10

    Conference

    spark内存不够

    暂未成功。INFO yarn.Client: Application report for application_1640188927691_0003 (state: ACCEPTED) 后，一直在 INFO yarn.Client: Application report for application_1640188927691_0003 (state: RUNNING)，可能是资源太少(1core2G)的问题

  4. spark on standalone
    4.1. 运行 example-pi

    bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://localhost:7077 \
--executor-memory 500m \
--total-executor-cores 1 \
./examples/jars/spark-examples_2.11-2.4.8.jar \
100

    spark-examples_2.12-3.2.0.jar
    警告没资源，等待几分钟后成功

    21/12/23 14:13:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
21/12/23 14:13:57 INFO spark.SparkContext: Running Spark version 2.4.8
21/12/23 14:13:57 INFO spark.SparkContext: Submitted application: Spark Pi
21/12/23 14:13:58 INFO spark.SecurityManager: Changing view acls to: root
21/12/23 14:13:58 INFO spark.SecurityManager: Changing modify acls to: root
21/12/23 14:13:58 INFO spark.SecurityManager: Changing view acls groups to: 
21/12/23 14:13:58 INFO spark.SecurityManager: Changing modify acls groups to: 
21/12/23 14:13:58 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(root); groups with view permissions: Set(); users  with modify permissions: Set(root); groups with modify permissions: Set()
21/12/23 14:13:58 INFO util.Utils: Successfully started service 'sparkDriver' on port 33713.
21/12/23 14:13:58 INFO spark.SparkEnv: Registering MapOutputTracker
21/12/23 14:13:58 INFO spark.SparkEnv: Registering BlockManagerMaster
21/12/23 14:13:58 INFO storage.BlockManagerMasterEndpoint: Using org.apache.spark.storage.DefaultTopologyMapper for getting topology information
21/12/23 14:13:58 INFO storage.BlockManagerMasterEndpoint: BlockManagerMasterEndpoint up
21/12/23 14:13:58 INFO storage.DiskBlockManager: Created local directory at /tmp/blockmgr-619fd2dc-0d04-414a-b314-0421d5c00934
21/12/23 14:13:58 INFO memory.MemoryStore: MemoryStore started with capacity 413.9 MB
21/12/23 14:13:58 INFO spark.SparkEnv: Registering OutputCommitCoordinator
21/12/23 14:13:58 INFO util.log: Logging initialized @3145ms to org.spark_project.jetty.util.log.Slf4jLog
21/12/23 14:13:58 INFO server.Server: jetty-9.4.z-SNAPSHOT; built: unknown; git: unknown; jvm 1.8.0_312-b07
21/12/23 14:13:58 INFO server.Server: Started @3383ms
21/12/23 14:13:59 INFO server.AbstractConnector: Started ServerConnector@79ab3a71{
     HTTP/1.1, (http/1.1)}{
     0.0.0.0:4040}
21/12/23 14:13:59 INFO util.Utils: Successfully started service 'SparkUI' on port 4040.
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@44ea608c{
     /jobs,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@515f4131{
     /jobs/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@74518890{
     /jobs/job,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3f3ddbd9{
     /jobs/job/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@14c053c6{
     /stages,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@6c2d4cc6{
     /stages/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@30865a90{
     /stages/stage,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@71b1a49c{
     /stages/stage/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@73e132e0{
     /stages/pool,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3773862a{
     /stages/pool/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@2472c7d8{
     /storage,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@589b028e{
     /storage/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@22175d4f{
     /storage/rdd,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@9fecdf1{
     /storage/rdd/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3b809711{
     /environment,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3b0f7d9d{
     /environment/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@236ab296{
     /executors,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@5c84624f{
     /executors/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@63034ed1{
     /executors/threadDump,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@232024b9{
     /executors/threadDump/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@55a8dc49{
     /static,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@4e406694{
     /,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@5ab9b447{
     /api,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@15b986cd{
     /jobs/job/kill,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@6bb7cce7{
     /stages/stage/kill,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO ui.SparkUI: Bound SparkUI to 0.0.0.0, and started at http://iZwz915iahvm5k8atqdtj2Z:4040
21/12/23 14:13:59 INFO spark.SparkContext: Added JAR file:/opt/spark-2.4.8-bin-hadoop2.7/./examples/jars/spark-examples_2.11-2.4.8.jar at spark://iZwz915iahvm5k8atqdtj2Z:33713/jars/spark-examples_2.11-2.4.8.jar with timestamp 1640240039193
21/12/23 14:13:59 INFO client.StandaloneAppClient$ClientEndpoint: Connecting to master spark://localhost:7077...
21/12/23 14:13:59 INFO client.TransportClientFactory: Successfully created connection to localhost/127.0.0.1:7077 after 67 ms (0 ms spent in bootstraps)
21/12/23 14:13:59 INFO cluster.StandaloneSchedulerBackend: Connected to Spark cluster with app ID app-20211223141359-0000
21/12/23 14:13:59 INFO util.Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 37767.
21/12/23 14:13:59 INFO netty.NettyBlockTransferService: Server created on iZwz915iahvm5k8atqdtj2Z:37767
21/12/23 14:13:59 INFO storage.BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy
21/12/23 14:13:59 INFO storage.BlockManagerMaster: Registering BlockManager BlockManagerId(driver, iZwz915iahvm5k8atqdtj2Z, 37767, None)
21/12/23 14:13:59 INFO storage.BlockManagerMasterEndpoint: Registering block manager iZwz915iahvm5k8atqdtj2Z:37767 with 413.9 MB RAM, BlockManagerId(driver, iZwz915iahvm5k8atqdtj2Z, 37767, None)
21/12/23 14:13:59 INFO storage.BlockManagerMaster: Registered BlockManager BlockManagerId(driver, iZwz915iahvm5k8atqdtj2Z, 37767, None)
21/12/23 14:13:59 INFO storage.BlockManager: Initialized BlockManager: BlockManagerId(driver, iZwz915iahvm5k8atqdtj2Z, 37767, None)
21/12/23 14:14:00 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3e48e859{
     /metrics/json,null,AVAILABLE,@Spark}
21/12/23 14:14:00 INFO cluster.StandaloneSchedulerBackend: SchedulerBackend is ready for scheduling beginning after reached minRegisteredResourcesRatio: 0.0
21/12/23 14:14:01 INFO spark.SparkContext: Starting job: reduce at SparkPi.scala:38
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Got job 0 (reduce at SparkPi.scala:38) with 100 output partitions
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Final stage: ResultStage 0 (reduce at SparkPi.scala:38)
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Parents of final stage: List()
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Missing parents: List()
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Submitting ResultStage 0 (MapPartitionsRDD[1] at map at SparkPi.scala:34), which has no missing parents
21/12/23 14:14:01 INFO memory.MemoryStore: Block broadcast_0 stored as values in memory (estimated size 2.0 KB, free 413.9 MB)
21/12/23 14:14:01 INFO memory.MemoryStore: Block broadcast_0_piece0 stored as bytes in memory (estimated size 1381.0 B, free 413.9 MB)
21/12/23 14:14:01 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on iZwz915iahvm5k8atqdtj2Z:37767 (size: 1381.0 B, free: 413.9 MB)
21/12/23 14:14:01 INFO spark.SparkContext: Created broadcast 0 from broadcast at DAGScheduler.scala:1184
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Submitting 100 missing tasks from ResultStage 0 (MapPartitionsRDD[1] at map at SparkPi.scala:34) (first 15 tasks are for partitions Vector(0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14))
21/12/23 14:14:01 INFO scheduler.TaskSchedulerImpl: Adding task set 0.0 with 100 tasks
21/12/23 14:14:16 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
21/12/23 14:14:27 INFO client.StandaloneAppClient$ClientEndpoint: Master removed worker worker-20211223114534-172.18.92.61-40105: Not responding for recovery
21/12/23 14:14:27 INFO cluster.StandaloneSchedulerBackend: Worker worker-20211223114534-172.18.92.61-40105 removed: Not responding for recovery
21/12/23 14:14:27 INFO scheduler.TaskSchedulerImpl: Handle removed worker worker-20211223114534-172.18.92.61-40105: Not responding for recovery
21/12/23 14:14:27 INFO scheduler.DAGScheduler: Shuffle files lost for worker worker-20211223114534-172.18.92.61-40105 on host 172.18.92.61
21/12/23 14:14:27 INFO client.StandaloneAppClient$ClientEndpoint: Executor added: app-20211223141359-0000/0 on worker-20211223141327-172.18.92.61-34607 (172.18.92.61:34607) with 1 core(s)
21/12/23 14:14:27 INFO cluster.StandaloneSchedulerBackend: Granted executor ID app-20211223141359-0000/0 on hostPort 172.18.92.61:34607 with 1 core(s), 500.0 MB RAM
21/12/23 14:14:27 INFO client.StandaloneAppClient$ClientEndpoint: Executor updated: app-20211223141359-0000/0 is now RUNNING
21/12/23 14:14:31 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
21/12/23 14:14:31 INFO cluster.CoarseGrainedSchedulerBackend$DriverEndpoint: Registered executor NettyRpcEndpointRef(spark-client://Executor) (172.18.92.61:40782) with ID 0
21/12/23 14:14:31 INFO scheduler.TaskSetManager: Starting task 0.0 in stage 0.0 (TID 0, 172.18.92.61, executor 0, partition 0, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:14:32 INFO storage.BlockManagerMasterEndpoint: Registering block manager 172.18.92.61:35261 with 110.0 MB RAM, BlockManagerId(0, 172.18.92.61, 35261, None)
21/12/23 14:14:34 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on 172.18.92.61:35261 (size: 1381.0 B, free: 110.0 MB)
121/12/23 14:19:36 INFO scheduler.TaskSetManager: Starting task 1.0 in stage 0.0 (TID 1, 172.18.92.61, executor 0, partition 1, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 2.0 in stage 0.0 (TID 2, 172.18.92.61, executor 0, partition 2, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 3.0 in stage 0.0 (TID 3, 172.18.92.61, executor 0, partition 3, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 4.0 in stage 0.0 (TID 4, 172.18.92.61, executor 0, partition 4, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 5.0 in stage 0.0 (TID 5, 172.18.92.61, executor 0, partition 5, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 6.0 in stage 0.0 (TID 6, 172.18.92.61, executor 0, partition 6, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 7.0 in stage 0.0 (TID 7, 172.18.92.61, executor 0, partition 7, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 0.0 in stage 0.0 (TID 0) in 309907 ms on 172.18.92.61 (executor 0) (1/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 4.0 in stage 0.0 (TID 4) in 172 ms on 172.18.92.61 (executor 0) (2/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 5.0 in stage 0.0 (TID 5) in 144 ms on 172.18.92.61 (executor 0) (3/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 6.0 in stage
最低0.47元/天 解锁文章
mo明奇妙
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark集群部署Spark2.4.8
weixin_66488549的博客
11-30 621
Spark2.4.8 spark集群部署
Scala 新手村 2022.08.28 周日
xinkuaile的专栏
09-27 186
大数据开发，Spark使用的 Scala语言
2.2 搭建Spark开发环境
最新发布
zl202111的博客
06-11 1751
一、Spark开发环境准备工作由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境软件 版本Linux系统 CentOS7.9版本Hadoop 3.3.4版本JDK 1.8版本 (jdk8u231)Spark 3.3.2版本二、了解Spark的部署模式（一）Standalone模式。
Spark性能测试Terasort
L, there!
08-08 2238
上次做了Hadoop集群的性能测试，因为主要的大数据开发工作在Spark上，这次做一下Spark的性能测试。 CDH6.0.1环境Hadoop集群性能测试 代码参考：spark-terasort 因为使用的CDH6.0.1，Spark版本2.2.0，代码需要做一些修改，这里已经在Spark2.3源码下修改好并编译打包，放到了Spark的examples里，可以替换Spark的exampl...
spark2.4.8 编译支持 hadoop3.3.3 hive2
u010374412的博客
10-10 1648
因为 spark 只依赖 hdfs 文件系统，spark2 默认就支持了 hadoop2，如果要支持 hadoop3 只需要 把 hadoop 依赖 换为 hadoop3 即可；当然你可以使用官方的 spark 在 hadoop2 编译后的 spark 安装包，但是就不能使用 hdfs3 的 纠删码等特性了。
Spark学习笔记
06-03
本人学习Spark过程中记录的笔记，从基础到优化基本上都包括了。虽然受限于本人技术，本笔记还是有些简单！但是也是比较全面的！
Spark学习笔记 Spark学习笔记 Spark学习笔记
08-07
Spark 学习笔记 Spark 是一个基于内存的分布式计算框架，它提供了高效、灵活、可扩展的数据处理解决方案。Spark 的核心组件是 Resilient Distributed Dataset (RDD)，它是一个弹性的分布式数据集合，提供了高效的...
基础篇八 Spark配置与安装
Andy的博客
05-29 1003
目录 文章导读 Scala安装 Spark安装 结束 文章导读 Spark安装与配置需要提前安装Scala支持,需要在sca要在scala官网下载安装包,在Spark官网下载安装包. Scala安装 # 解压 [root@hadoop01 src]# tar -zxvf scala-2.11.12.tgz # 移动至指定目录 [root@hadoop01 src]# mv scala-2.11.12 ../soft/ # 修改环境变量 [root@hadoo...
Spark-运行环境以及部署
clearlxj的博客
07-30 760
运行环境 Spark 作为一个数据处理框架和计算引擎,被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn,不过逐渐容器式环境也慢慢流行起来。接下来,我们就分别看看不同环境下 Spark 的运行 Local 模式 所谓的 Local 模式,就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境,一般用于教学,调试,演示等，之前在 IDEA 中运行代码的环境我们称之为开发环境,不太一样。 部署使用 将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到Lin
spark-2.4.8-bin-2.6.0-with-hive.tgz
10-20
该包可以启动spark的thriftserver。可以解决报错failed load org.apache.spark.sql.hive.thriftserver.HiveThriftServer2的报错。
mysql-installer-community-5.5.32.2.msi
10-23
MySQL 5.5.32.2 数据库 下载 mysql-installer-community-5.5.32.2.msi 下载。
spark-2.4.8-bin-hadoop2.7 Name or service not knownstname
qq 117791303
09-15 234
spark-2.4.8-bin-hadoop2.7 Name or service not knownstname
Mysql5.7安装配置详细图文教程（附安装包）
热门推荐
caidykojoy的博客
08-31 4万+
MySQL5.7最新安装配置教程，详细图文介绍。
Spark 2.4.8 Job调度
大怀特的博客
12-04 506
Spark 2.4.8 Job调度概览跨应用程序调度动态资源分配配置和设置资源分配策略请求策略移除策略优雅关闭ExecutorsApplication内部调度 概览 Spark 有多种工具为资源调度在复杂计算. 首先,回顾下,在集群模式概念中,每个 Spark application(SparkContext实例)运行一个独立一组executor 进程.群集管理 Spark运行的集群管理器提供工具为了调度跨应用. 其次,每个Spark application, 多个"jobs"(spark actions)
spark 2.4.8 源码阅读环境搭建(sbt方式 windows版 在idea上搭建)
juemingxiaodudu的博客
07-29 323
spark 2.4.8 源码阅读环境搭建(windows版 在idea上搭建) 1.安装scala 2.11.8以上版本 此过程略… 在idea上安装scala插件 2. 安装sbt项目搭建工具 sbt项目下载地址(请不要下载 .msi格式安装包 我这里下载的是zip压缩包安装方式) sbt版本我选择 0.13.18，因为spark-2.4.8 的sbt版本是0.13.17，我选用了1.x版本在编译spark时失败了，所以降到0.13.18 https://www.scala-sbt.org/do.
spark常见问题汇总
YiRan_Zhao的博客
05-30 1866
摘要： 　　1、Operation category READ is not supported in state standby 　　2、配置spark.deploy.recoveryMode选项为ZOOKEEPER 　　3、多Master如何配置 　　4、No Space Left on the device（Shuffle临时文件过多） 　　5、java.lang.OutOf...
Apache Spark源码阅读环境搭建
终回首的博客
08-26 469
文章目录1 下载源码2 导入项目3 新建文件4 Debug JavaWordCount遇到的报错1 未设置Master2 模块编译输出路径冲突 版本 win7 jdk 1.8 maven 3.6.3 scala 2.11.8 1 下载源码 # 下载源码 git clone https://github.com/apache/spark.git # 切换到目标版本 git checkout v2.4.0 2 导入项目 #mermaid-svg-iY0oiuQsBRWr905j .label{font-fam
Spark操作Hive所需依赖（Java版本）
hongmofang10的博客
09-30 1931
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"&gt
Scala编程入门：Spark学习笔记
"Spark学习笔记，这是一份详细记录Spark学习的笔记，包含了实践代码和解释，适合初学者。笔记中还涉及了与Spark密切相关的Scala编程语言的介绍，包括Scala的基本概念、学习Scala的原因以及简单的Scala编程示例，如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值