legendary Captain-CSDN博客

原创 HDFS HA高可用集群配置

HDFS HA高可用（NameNode）HDFS HA高可用配置HDFS HA高可用（NameNode）HDFS HA高可用配置目录一、配置zookeeper集群，启动zookeeper的集群环境1. 集群规划2. 解压安装3. 配置zoo.cfg文件4. 集群操作二、配置HDFS-HA集群 1，备份hadoop 2，删除集群中另外两个节点的hadoop-2.7.2 3，配置core-...

2020-09-11 20:15:02 598

新建一张这样的表：CREATE TABLE users ( name string, game string, score double);insert into users values('us1','game1',2.0 ) ,('us1','game2',3.0 ) ,('us1','game3',5.0 ) ,('us2','game2',4.0 ) ,('us2','game3',3.0 ) ,('us2','game4',7.0 ) ,('u...

2021-03-05 17:52:19 277

原创 zookeeper客户端命令行操作

客户端命令行操作命令基本语法功能描述 help 显示所有操作命令 ls path [watch] 使用 ls 命令来查看当前znode中所包含的内容 ls2 path [watch] 查看当前节点数据并能看到更新次数等数据 create 普通创建 -s 含有序列 -e 临时（重启或者超时..

2020-10-04 14:00:20 140

原创 MapReduce

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档MapReduce前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结

2020-10-04 13:56:03 215

原创 java反射

# 01 Class类 (3种实现方式)## 一、反射> 1、java反射机制就是在程序运行状态中，对于任意一个类，都能够知道这个类的属性和方法；对于任意一个对象，都能够调用到他的属性和方法。这种动态获取信息以及动态调用对象的方法的功能称为java语言的反射机制。> 2、Class类的使用> 3、方法的反射> 4、成员变量的反射> 5、构造函数的反射> 6、Java类加载机制## 二、Class类> 1、万事万物皆为对象> `那么类

2020-09-19 09:13:41 120

原创 MapReduce调优

目录Hadoop优化1 .MapReduce 跑的慢的原因2. MapReduce优化方法 2.1 数据输入 2.2 Map阶段 2.3 Reduce阶段 2.4 I/O传输 2.5 数据倾斜问题 2.6 常用的调优参数3. HDFS小文件优化方法 3.1 HDFS小文件弊端 3.2 小文件解决方案Hadoop优化 1 .MapReduce 跑的慢的原因...

2020-09-17 17:47:36 575

原创 zookeeper

zookeeper目录zookeeper目录一、zookeeper入门 1.1概述 1.2特点 1.3数据结构 1.4应用场景二、客户端命令行操作三、zookeeper内部原理 3.1节点类型 3.2stat结构体 3.3监听器原理（重点） 3.4选举机制（重点） 3.5写数据流程一、zookeeper入门 1.1概述 Zoo...

2020-09-12 20:19:29 351

原创 HDFS

学习目标：HDFS学习内容： HDFS产生背景 HDFS的定义 HDFS的优缺点 HDFS的组成结构 HDFS文件块大小 HDFS写数据流程(重点) 网络拓扑-节点距离计算机架感知 HDFS读数据流程（重点） NameNode和secondaryNameNode（重点） DataNode（重点） HDFS 2.X新特性内容：1.HDFS产生背景随着数据量越来越大，在一个

2020-09-12 10:44:51 188

原创 Hadoop完全分布式集群搭建

1）准备3台客户机（关闭防火墙、静态ip、主机名称）关闭防火墙serviceiptablesstop修改主机名[root@hadoop100]vi /etc/sysconfig/network可以将hadoop100改为hadoop101（或者其他的）修改克隆虚拟机的静态IP[root@hadoop100]vi /etc/udev/rules.d/70-persistent-net.rules将含有”eth0”的行数据删除，将最后一行”eth0”改为”e...

2020-09-09 17:34:43 91

qq_42387496的博客