hadoop入门
文章平均质量分 67
会飞的鲁班
这个作者很懒,什么都没留下…
展开
-
Hadoop完全分布式搭建
集群配置 可以将服务分别去配置在多台服务器上面以hadoop105,hadoop106,Hadoop107为案例 组件 hadoop105 hadoop106 hadoop107 HDFS NameNode、DataNode DataNode SecondaryNameNode、DataNode YARN NodeManager ResourceManager、NodeManager NodeManager NAMENODE职责 NAMENODE职责: 负责客户端请求的响应 元数据的原创 2021-11-01 15:38:11 · 1391 阅读 · 1 评论 -
SSH免密登录
1.配置 ssh 之前在做xsync分发的时候我们需要大量的去输入 被分发服务器的密码,很麻烦 (1).基本语法 ssh 主机名称 (2).生成公钥和私钥 [tedu@hadoop102 ~]$ cd /home/tedu [tedu@hadoop102 ~]$ ls -al [tedu@hadoop102 ~]$ cd .ssh/ [tedu@hadoop102 .ssh]$ ssh-keygen -t rsa 然后敲(三个回车),就会生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥原创 2021-10-25 15:36:05 · 200 阅读 · 0 评论 -
完全分布式xsync级群分发
文件的copy 分析: 1.准备 3 台客户机(关闭防火墙、静态 IP、主机名称) hadoop105,hadoop106,hadoop107 2.安装 JDK 3.配置环境变量 4.安装 Hadoop 5.配置环境变量 6.配置集群 7.单点启动 8.配置 ssh 9.群起并测试集群 分布式的概念 将不同的模块功能可以部署在不同的Server上面,提高读写速度和安全性,也可以将相同的模块部署在不同的Server(灾备作用) 文件的copy 因为做的是完全分布式 所以肯定需要在各个服务器上面进行文件的分发共原创 2021-10-18 15:29:37 · 341 阅读 · 0 评论 -
Hadoop环境的搭建(WordCount)
linux系统安装hadoop环境 安装hadoop 首先需要通过xftp文件传输将hadoop的.tar.gz(hadoop-3.1.3.tar.gz)文件传输到linux的/opt/software的目录下面 解压hadoop-3.1.3.tar.gz文件到/opt/module这个目录下 [tedu@hadoop105 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ 解压成功后会在/opt/module 目录下面看到以下信息 h原创 2021-09-27 15:40:20 · 775 阅读 · 0 评论 -
linux jdk的安装
linux jdk的安装 建议先去卸载linux自带的jdk java 不是内部命令 javac 不是内部命令 如果有自带的jdk [root@hadoop1005 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps 通过xftp将linux版本对应的jdk文件传递到linux系统以下目录 /opt/software 解压安装 将jdk解压缩到以下目录 [tedu@hadoop105 software]$ tar -zxvf jdk-8u12原创 2021-09-23 17:19:30 · 262 阅读 · 0 评论 -
hadoop伪分布式搭建前期工作
hadoop伪分布式搭建 前期工作 使用 yum 安装需要虚拟机可以正常上网,yum 安装前可以先测试下虚拟机联网情况。 1.安装 epel-release 什么是epel-release “EPEL的全称叫 Extra Packages for Enterprise Linux。EPEL是由 Fedora 社区打造,为 RHEL 及衍生发行版如 CentOS、Scientific Linux 等提供高质量软件包的项目。装上了 EPEL之后,就相当于添加了一个第三方源。 [root@hadoop105 ~]原创 2021-09-18 15:21:04 · 380 阅读 · 0 评论