- 博客(3)
- 收藏
- 关注
RSS订阅原创 搭建Spark单机版集群
解压文件包进入Spark安装目录的/bin目录，使用SparkPi计算Pi的值如果执行时输出非常多的运行日志信息，输出结果找不到，就使用grep命令进行过滤（命令中的 2>&1 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）
2024-04-25 17:21:15
666
3
原创 spark前的平台及搭建
结果： 20/05/02 16:21:50 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at master/192.168.1.6。安装命令如下，将安装包解压到/usr/local/src 目录下 ，注意/opt/software目录 下的软件包事先准备好。命令如下:(注意空格)
2024-04-25 14:25:12
1409
1
原创 Hadoop、Spark 和大数据处理
Hadoop 生态系统包含多个组件，每个组件都有不同的功能。：用于存储大规模数据的分布式文件系统。它将数据分成块并在集群中的多个节点上进行存储。MapReduce：分布式计算框架，用于处理大规模数据集。它将任务分为 Map 阶段和 Reduce 阶段，适合离线数据处理。：资源管理器，负责集群资源的分配和调度。Hive：基于 Hadoop 的数据仓库工具，用于查询和分析大规模数据。Pig：高级脚本语言，用于数据分析和转换。HBase：分布式 NoSQL 数据库，适用于实时读写大量数据。Spark。
2024-03-07 17:34:21
1536
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人