![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop入门
文章平均质量分 67
会飞的鲁班
这个作者很懒,什么都没留下…
展开
-
Hadoop完全分布式搭建
集群配置可以将服务分别去配置在多台服务器上面以hadoop105,hadoop106,Hadoop107为案例组件hadoop105hadoop106hadoop107HDFSNameNode、DataNodeDataNodeSecondaryNameNode、DataNodeYARNNodeManagerResourceManager、NodeManagerNodeManagerNAMENODE职责NAMENODE职责:负责客户端请求的响应元数据的原创 2021-11-01 15:38:11 · 1383 阅读 · 1 评论 -
SSH免密登录
1.配置 ssh之前在做xsync分发的时候我们需要大量的去输入 被分发服务器的密码,很麻烦(1).基本语法ssh 主机名称(2).生成公钥和私钥[tedu@hadoop102 ~]$ cd /home/tedu[tedu@hadoop102 ~]$ ls -al[tedu@hadoop102 ~]$ cd .ssh/[tedu@hadoop102 .ssh]$ ssh-keygen -t rsa 然后敲(三个回车),就会生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥原创 2021-10-25 15:36:05 · 189 阅读 · 0 评论 -
完全分布式xsync级群分发
文件的copy分析:1.准备 3 台客户机(关闭防火墙、静态 IP、主机名称)hadoop105,hadoop106,hadoop1072.安装 JDK3.配置环境变量4.安装 Hadoop5.配置环境变量6.配置集群7.单点启动8.配置 ssh9.群起并测试集群分布式的概念将不同的模块功能可以部署在不同的Server上面,提高读写速度和安全性,也可以将相同的模块部署在不同的Server(灾备作用)文件的copy因为做的是完全分布式 所以肯定需要在各个服务器上面进行文件的分发共原创 2021-10-18 15:29:37 · 333 阅读 · 0 评论 -
Hadoop环境的搭建(WordCount)
linux系统安装hadoop环境安装hadoop首先需要通过xftp文件传输将hadoop的.tar.gz(hadoop-3.1.3.tar.gz)文件传输到linux的/opt/software的目录下面解压hadoop-3.1.3.tar.gz文件到/opt/module这个目录下[tedu@hadoop105 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/解压成功后会在/opt/module 目录下面看到以下信息h原创 2021-09-27 15:40:20 · 771 阅读 · 0 评论 -
linux jdk的安装
linux jdk的安装建议先去卸载linux自带的jdkjava不是内部命令javac不是内部命令如果有自带的jdk[root@hadoop1005 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps通过xftp将linux版本对应的jdk文件传递到linux系统以下目录/opt/software解压安装将jdk解压缩到以下目录[tedu@hadoop105 software]$ tar -zxvf jdk-8u12原创 2021-09-23 17:19:30 · 259 阅读 · 0 评论 -
hadoop伪分布式搭建前期工作
hadoop伪分布式搭建前期工作使用 yum 安装需要虚拟机可以正常上网,yum 安装前可以先测试下虚拟机联网情况。1.安装 epel-release什么是epel-release“EPEL的全称叫 Extra Packages for Enterprise Linux。EPEL是由 Fedora 社区打造,为 RHEL 及衍生发行版如 CentOS、Scientific Linux 等提供高质量软件包的项目。装上了 EPEL之后,就相当于添加了一个第三方源。[root@hadoop105 ~]原创 2021-09-18 15:21:04 · 375 阅读 · 0 评论