- 博客(2)
- 收藏
- 关注
RSS订阅原创 RDD编程初级实践（基于python）
RDD编程初级实践（基于python）1.实验目的2.实验环境3.实验数据3.1pyspark交互式编程（实验描述）3.2编写独立应用程序实现数据去重（实验描述）3.3编写独立应用程序实现求平均值问题（实验描述）3.4实验数据下载4.实验步骤4.1pyspark交互式编程4.2编写独立应用程序实现数据去重4.3编写独立应用程序实现求平均值问题1.实验目的（1）熟悉Spark的RDD基本操作及键值对操作；（2）熟悉使用RDD编程解决实际具体问题的方法。2.实验环境（1）操作系统
2021-06-07 00:09:08
376
原创 使用mapduce统计文件中各个单词出现的次数
调用MapReduce对文件中各个单词出现次数进行统计一.Linux的安装二.准备工作1.创建hadoop账户2.更新apt3.安装SSH、配置SSH无密码登陆三.安装Java环境1.安装JDK2.验证JDK安装情况3.设置JAVA坏境变量四.安装 Hadoop五.Hadoop伪分布式配置1.修改配置文件2.执行 NameNode 的格式化:3.开启NameNode和DataNode守护进程六.调用MapReduce执行WordCount对单词进行计数1.将待分析的文件上传到HDFS2.安装Eclipse3
2020-12-20 20:51:42
164
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人