weixin_39971163的博客

第一步：修改服务器名字 命令：vi /etc/hostname 一般“主”虚拟机为master,"从”虚拟机为slave 保存退出。 第二步：重启虚拟机 命令：reboot 第三步：配置IP映射 命令：vi /etc/hosts 将IP地址和名称相互映射写在文档里 保存退出 完成！！！ ...

linux虚拟机开启HDFS分布式集群成功，namenode和datanode能够正常运行开启 但是网页可视化界面：http://192.168.66.100:50070/dfshealth.html#tab-overview连接不到datanode， 解决方案是： 在hdfs-site.sh里面加  dfs.namenode.datanode.registration.ip-host...

首先准备7台虚拟机 修改主机名、IP、IP与主机名之间的映射、关闭防火墙、配置ssh免密登陆、安装jdk并配置好环境变量 集群规划： 机名 IP 安装的软件 运行的进程 ha00 192.168.66.20 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) ha01 192.168.66.21 jdk、hadoop Name...

注：本文中的两段代码都是以内部类的方式进行编写的 需求： 需求：有大量的文本文档，如下所示： a. txt hello tom hello jim hello kitty hello rose b. txt hello jerry hello jim hello kitty hello jack c. txt hello jerry hello java hello c++ hello c++ ...

Configuration参数加载机制 构造时先加载jar的默认配置xx-default.xml 在加载用户配置的xx-site.xml，覆盖默认参数 构造完成后还可以conf.set，再次覆盖之前的配置 FileSystem fs=null; @Before public void inti() throws Exception { //new Configuration()会从clas...

第一步：编辑mapreduce中的java代码（map逻辑和reduce逻辑） 重点是更改提交类中的main方法 /** * 如果要在hadoop集群的某台机器上启动这个job提交客户端的话 * conf里面就不需要指定 fs.defaultFS mapreduce.framework.name * * 因为在集群机器上用 hadoop jar xx.jar cn.edu360.m...

一：先构造一个连接zookeeper的客户端对象 ZooKeeper zk = null; //表示在任意使用@Test注解标注的public void方法执行之前执行 @Before public void init() throws Exception{ // 构造一个连接zookeeper的客户端对象 zk = new ZooKeeper("hdp-01:2181,hdp-...

zookeeper在linux上的集群搭建解压zookeeper配置zookeeper 解压zookeeper 1.用stfp等文件传输软件将linux版本的zookeeper传输到linux中 2.在文件中进行解压命令为：tar -zxvf 文件名（路径+文件名） -C 解压路径 3. 可以将解压后的一些无用文件删除：doc src 配置zookeeper 1.进入conf这个文件中，复制zo...

第一步：oracle官网下载linux版本的jdk版本 网址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 第二步：利用XFTP工具将压缩文件放到指定目录 我的目录是/usr/local 第三步：解压jdk 在Xshell中cd进入jdk压缩包所在目录下，输入解压命令：t...

关闭防火墙：systemctl stop firewalld.service 开启防火墙：systemctl start firewalld.service 关闭开机自启动：systemctl disable firewalld.service 开启开机启动：systemctl enable firewalld.service ...

yarn是一个分布式程序的运行调度平台 yarn中有两大核心角色： 1、Resource Manager 接受用户提交的分布式计算程序，并为其划分资源 管理、监控各个Node Manager上的资源情况，以便于均衡负载 2、Node Manager 管理它所在机器的运算资源（cpu + 内存） 负责接受Resource Manager分配的任务，创建容器、回收资源 2.2.YARN的安装 node...

6.5 服役新数据节点 0）需求： 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 1）环境准备 （1）克隆一台虚拟机 （2）修改ip地址和主机名称 （3）修改xcall和xsync文件，增加新增节点的同步 （4）删除原来HDFS文件系统留存的文件 /opt/module/hadoop-2.7.2/data 2）服役新...

第一步：在虚拟机上安装hadoop环境 使用XFTP工具，将hadoop的linux版本压缩包导进linux系统的/opt文件夹下。 第二步：解压hadoop 命令：cd /opt tar -zxvf hadoop******* -C /usr/local/ 解压hadoop压缩包到 /usr/local/ 路径下 解压成功以后看一下local下面的所有文件 第三步：删除解...

HIVE是什么？ HIVE是一个可以将sql翻译为MR程序的工具 HIVE支持用户将HDFS上的文件映射为表结构，然后用户就可以输入SQL对这些表（HDFS上的文件）进行查询分析 HIVE将用户定义的库、表结构等信息存储hive的元数据库中（可以是本地derby，也可以是远程mysql） Hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL...