![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Rich D
这个作者很懒,什么都没留下…
展开
-
Hadoop-HDFS的Java常用API
1.首先创建一个maven项目,下面是pom文件所需的jar包 cloudera https://repository.cloudera.com/artifactory/cloudera-repos/ org.apache.Hadoop Hadoop-common 2.6.0-cdh5.14.0原创 2020-10-20 21:06:36 · 204 阅读 · 1 评论 -
hadoop已有集群中添加新的节点和删除节点
集群添加节点1.添加之前要将需要进行添加的新节点进行如下配置:修改主机名vi /etc/sysconfig/network永久关闭防火墙/etc/init.d/iptables stopchkconfig iptables off关闭selinuxvi /etc.selinux/config修改 SELINUX=disabled修改所有节点的 /etc/hosts 文件。添加新的节点的IP和主机名安装jdk;2.将主机添加到集群a) 在hadoop配置原创 2020-10-20 09:54:23 · 391 阅读 · 1 评论 -
Hadoop模拟namenode故障恢复(使用secondarynamenode还原namenode)
故障恢复步骤第一步:杀死namenode进程使用jps查看namenode进程号,然后直接使用kill -9 进程号杀死namenode进程jps127156 QuorumPeerMain127785 ResourceManager17688 NameNode127544SecondaryNameNode127418 DataNode128365 JobHistoryServer19036 Jps127886 NodeManager[root@node01 servers]原创 2020-10-19 19:59:33 · 570 阅读 · 1 评论 -
Hadoop HDFS实现机架感知
机架感知是什么?告诉hadoop集群中的服务器节点属于哪个机柜实现我的hadoop解压目录是 /export/servers/hadoop-2.6.0-cdh5.14.01.在hadoop解压目录下创建 vim RackAware.py 里面代码如下:#!/usr/bin/python #-*-coding:UTF-8 -*- import sys rack = { "12.12.3.1":"SW6300-1", "12.12.3.2":原创 2020-10-14 21:17:46 · 255 阅读 · 1 评论 -
Linux集群部署及搭建-----Hadoop
下面是配置三台虚拟机的集群!!一.前期配置. 1、 服务器主机名和静态IP配置(三台) 2、 修改每个主机的/etc/hosts文件,添加IP和主机名的对应关系(三台) 3、 管理节点到从节点配置无密码登录 4、 配置jdk 1.8(三台) 5、 关闭防火墙(三台) 6、 关闭selinux(三台) vi /etc/selinux/config SELINUX=enforcing → SELINUX=disabled 重启系统二. hadoop安装流程1.软件包上传原创 2020-10-12 21:06:15 · 2627 阅读 · 1 评论