- 博客(2)
- 收藏
- 关注
RSS订阅原创 RDD编程初级实践
文章目录一、需求分析二、环境介绍（一）安装Spark。1.安装Spark。2.登录系统。3.修改Spark的相关配置文件。4.检验Spark是否成功安装。（二）在spark shell中运行代码。1.在四个CPU核心上运行spark-shell。（三）Java独立应用编程。1.安装maven。三、pyspark交互式编程（一）数据来源。（二）数据上传。1.将文件data.txt放入相应地方，并放入usr/local/spark/zm路径中。2.输入命令pyspark启动。（三）输入相关代码。四、编写独立应用
2021-06-09 22:50:49
359
原创 使用MapReduce对英文单词文件进行单词出现次数统计
使用MapReduce对英文单词文件进行单词出现次数统计一、事前准备工作1、创建相关的hadoop账户。（1）打开终端窗口，输入下面命令创建相关新的用户，使用 /bin/bash 作为 shell。sudo useradd -m hadoop -s /bin/bash（2）设置相关密码，按照相关提示输入两次密码。sudo passwd mima（3）hadoop 用户增加管理员权限，方便后续命令操作。sudo adduser hadoop sudo（4）选择退出登录，选择刚建立的用户
2020-12-17 22:18:41
1059
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人