- 博客(5)
- 收藏
- 关注
RSS订阅原创 伪分布式！
输入命令（无语输了半天spark-shell要输./spark-shell）进入到slaves写入名字。到指定目录下打开spark。
2024-04-28 17:08:56
74
3
原创 hive之前（hadoop安装）
JDK 安 装 包 需 要 在 Oracle 官 网 下 载 ， 下 载 地 址 为 ： 20 https://www.oracle.com/java /technologies /javase-jdk8-downloads.html，本教材采用 的 Hadoop 2.7.1 所需要的 JDK 版本为 JDK7 以上，这里采用的安装包为 jdk-8u152-linuxx64.tar.gz。在浏览器的地址栏输入http://master:50070，进入页面可以查看NameNode和DataNode 信息。
2024-04-22 18:27:45
1624
原创 有关Hive
添加root用户本地远程访问权限。下载并解压文件并更改名字。开启mysql并查看状态。修改密码并验证版本统一性。查看已有的安装包并卸载。
2024-04-08 14:14:32
138
2
原创 第五人格！启动！！！
一.配置永久ip和临时ip1临时配置ip（重启设备或服务即失效）ifconfig查看网卡信息以网卡为eth0为例：eth0：需要配置的网卡名称 192.168.1.1：需要配置的ip地址 255.255.255.0 ：ip地址对应的掩码2.永久配置ip（重启服务，新配置即刻生效）以网卡为eth0为例： vi /etc/sysconfig/network-scripts/ifcfg-eth0打开并编辑配置文件，进行相关配置，配置完成后输入：x 回车保存并退出。
2024-03-15 11:39:19
669
原创 豪门霸总狠狠爱
MapReduce和Spark都是用于大规模数据处理的分布式计算框架，但它们在运行框架、速度、容错性等方面存在一些差异。MapReduce的运行框架主要包括以下几个组件：Map阶段：将输入数据切分成小块，分配给不同的Map任务进行处理。每个Map任务独立运行，并产生中间结果。Shuffle阶段：将Map任务的中间结果进行整合，根据键值对的键进行分区，为Reduce任务做准备。这个阶段包括排序、分组等操作。
2024-03-08 11:40:06
1649
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人