- 博客(2)
- 收藏
- 关注
原创 【无标题】HADOOP平台安装到集群运行
(Press y|Y for Yes, any other key for No) 表示是否拒绝 root 用户远程登录,在键盘输入 n 和回车,表示允许 root 用户远程登录。执行 mysql_secure_installation 命令初始化 MySQL 数据库,初始化过程中需要设定 数据库 root 用户登录密码,密码需符合安全规则,包括大小写字符、数字和特殊符号, 可设定密码为 Password123$。上述目录中/input 目录是输入数据存放的目录,/output 目录是输出数据存放的目录。
2024-04-25 13:53:35 461
原创 我嘞个spark骚缸啊
MapReduce是一个分布式运算程序的编程框架,其核心功能为把用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序并发运行在Hadoop集群上MapReduce是一种编程模型和处理框架,主要用于处理大规模数据集的并行计算。MapReduce编程模型包括两个主要阶段:Map阶段和Reduce阶段。在Map阶段,输入数据集被划分成若干个小数据块,每个小数据块由一个Map任务处理,Map任务将输入数据进行映射,并生成中间键值对。这些中间键值对按照键进行排序,并传递给Reduce任务。
2024-03-07 17:39:31 716
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人