hadoop
文章平均质量分 68
xuxizhou1994
厚积薄发
展开
-
Hadoop完全分布式集群搭建
1. 集群搭建形式 Hadoop环境搭建分为三种形式:单机模式、伪分布式模式、完全分布模式 单机模式—— 在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。 伪分布式—— 也是在一台单机上运行,但不同的是Java进程模仿分布式运行中的各类节点。即一台机器上,既当NameNode,又当DataNode,或者说既是JobTracker又是TaskTracker。没有所谓的在多台机器上进行真正的分布式计算,故称为“伪分布式”。 完全分布式——真正的分布式,由3个及以上的实体机或者.原创 2021-01-22 17:06:12 · 247 阅读 · 0 评论 -
Linux下Hadoop安装与配置
1 环境配置 1.1 JDK配置 在这里使用的是Oracle的JDK1.8。1. 下载安装JDK2. 配置环境变量3. 验证JDK是否安装成功 echo $JAVA_HOME 和 java -version 命令查看JDK的版本信息,若二者的信息一致,则证明JDK配置成功。4. 手动设置系统默认JDK 通常系统默认的jdk为openjdk,在这里需要手动修改系统默认的JDK为我们上文安装的JDK。 在终端依次输入以下命令: sudo update-alternative原创 2021-01-20 15:22:12 · 152 阅读 · 0 评论 -
hdfs学习总结
原创 2021-01-14 17:03:14 · 152 阅读 · 0 评论 -
Mac 安装 Hadoop
2. SSH 首先在系统里打开远程登录,位置在System Preference -> Sharing中,左边勾选Remote Login,右边选择All Users。 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ssh localhost用来测试 3. 安装hado...原创 2020-08-08 15:22:31 · 507 阅读 · 0 评论