- 博客(2)
- 收藏
- 关注
RSS订阅原创 2021-06-10
RDD编程初级实践 一、环境介绍 Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集（Scala 提供一个称为 Actor 的并行模型，其中Actor通过它的收件箱来发送和接收非同步信息而不是共享数据，该方式被称为：Shared Nothing 模型）。在Spark官网上介绍，它具有运行速度快、易用性好、通用性强和随处运行等特点。 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley
2021-06-10 13:54:14
908
2
原创 调用MapReduce对文件中各个单词出现次数进行统计
调用MapReduce对文件中各个单词出现次数进行统计 实验配置：系统:Ubuntu Kylin | 环境：Hadoop | 软件：Eclipse 要求 1.将待分析的文件（不少于10000英文单词）上传到HDFS 2.调用MapReduce对文件中各个单词出现的次数进行统计 3.将统计结果下载本地。 操作步骤：调用MapReduce执行WordCount对单词进行计数** 一： • 1. 在Eclipse中创建项目 • 2. 为项目添加需要用到的JAR包 • 3. 编写Java应用程序 • 4. 编译
2020-12-17 22:31:26
1719
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人