qq_48847763的博客

原创 Zookeeper--入门详解

一 . Zookeeper 入门What is Zookeeper ？ ZooKeeper主要服务于分布式系统，可以用ZooKeeper来做：统一配置管理、统一命名服务、分布式锁、集群管理 使用分布式系统就无法避免对节点管理的问题(需要实时感知节点的状态、对节点进行统一管理等等)，而由于这些问题处理起来可能相对麻烦和提高了系统的复杂性，ZooKeeper作为一个能够通用解决这些问题的中间件就应运而生了 二 . Zookeeper 用途广泛 那么其原因是什么呢 ？..

原创 Hive笔记 ---之hive 分区表 分桶表 详解

--- 本章节目录分区表 （静态分区 动态分区）分桶表抽样查询分区表 数据分区的概念以及存在很久了，通常使用分区来水平分散压力，将数据从物理上移到和使用最频繁的用户更近的地方，以及实现其目的hive中处理的数据在HDFS中 , select * from tb_name where dt=2020-09-03;查询表中的数据是加载HDFS中对应表文件夹下的数据 ,文件夹下的数据很多,将数据全部加载以后再筛选过滤出数据, 显然效率低,Hive中的分区表起始就是根据...

原创 Hbase --- 原理加强 第 ＜1＞ 篇

--- 数据存储rowkey的作用:在内部数据是按照rowkey排序的(字典顺序) 在rowkey上是有数据索引的 , 查询的时候按照rowkey查询数据最快1> Table中的所有行都按照row key的字典序排列HBase是三维有序存储的，是指rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度是依照ASCII码表排序的 （比如A排在a前面）先rowkey升序排序， rowkey相同则co

原创 Hive -- DDL 数据库 表 基础操作

Hive 数据类型 对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数--- DDL基础操作 ------ 显示系统中所有的数据库show databases ;+----------------+| database_name |+----------------+| default || demo |+--...

原创 Hive是什么 简介 安装部署 连接详解

什么是Hive解决海量结构化日志的数据统计(海量的结构化数据的运算分析)它是一个数仓工具，不是数据库 通过SQL形式 处理，分析，统计，运算HDFS上的海量结构化数据--->报表本质:Hive(HQL)底层转换成MR程序，提交到Yarn分布式运行Hive处理数据存储在HDFS上 Hive分析数据底层的实现是MapReduce/ spark(分布式运算框架) 执行程序运行在Yarn上优点与缺点 简述--- 优点操作接口采用类SQL语法，提...

原创 Hbase是什么

--- Hbase 简述分布式，面向列的开源数据库高可靠性，高性能，面向列，可伸缩的分布式数据系统高可靠性:安全性 对外服务可靠高性能:处理数据的速度 效率 集群所有机器的运算资源处理数据面向列:在hbase底层存储的所有的数据都是以key/value组成的字节数据可伸缩性: 存储能力 运算能力 两者来看通过添加节点来扩展存储容量和添加运算资源用于存储海量的结构化或半结构 非结构化 的数据即 结构化 非结构 数据系统将数据存储在不同的机器上 利用不同机...

原创 HDFS---客户端入门 API

封装工具类public class DoitUtils { /** * 返回操作hdfs://linux01:8020/ 文件系统的客户端对象 * @return * @throws Exception */ public static FileSystem getFs() throws Exception { return FileSystem.newInstance(new URI("hdfs://linux01:802..

原创 HDFS --- 基础操作应用

--- HDFS客户端操作 --- HDFS提供了两种客户端操作SHELL命令和JAVA接口都可以和HDFS系统交互!用户可以上传,下载,读取,追加数据内容,删除,移动......namenode1)用于记录文件存储的元数据 对象（NameNode将这些数据的元数据信息记录在内存中，并且将这些元数据信息定期的序列化到本地磁盘上）, 记录用户操作的行为日志 .记录用户存储的文件的大小、切分的块数、每一块的副本数和存储在DataNode上的位置2)接收客户端的请求,给datanode'分配...

原创 Linux系统目录---基础命令

--- Linux 系统目录结构 ---* /bin:存放系统命令的目录，所有用户都可以执行。* /sbin : 保存和系统环境设置相关的命令，只有超级用户可以使用这些命令，有些命令可以允许普通用户查看。* /usr/bin：存放系统命令的目录，所有用户可以执行。这些命令和系统启动无关，单用户模式下不能执行* /usr/sbin：存放根文件系统不必要的系统管理命令，超级用户可执行* /root: 存放root用户的相关文件,root用户的家目录。宿主目录 超级用户* /hom..

原创 JAVA基础