Hadoop
关注
分享
扫一扫
Relian哈哈
分享知识和分享苹果是不一样的，苹果会越分越少，而知识并不会因为分享而减少，知识的分享更能激荡出不一样的火花
展开
-
Hive中生成自增序列的常用方法
在日常业务开发过程中，通常遇到需要hive数据表中生成一列唯一ID，当然连续递增的更好。最近在结算业务中，需要在hive表中生成一列连续且唯一的账单ID，于是就了解生成唯一ID的方法原创 2023-10-07 01:47:53 · 4206 阅读 · 0 评论 -
Flink的数据持久化-CheckPoint机制
Flink内存易失，利用CheckPoint机制数据持久化，偏于出现异常，应用挂掉时，做数据恢复。所谓CheckPoint（可以理解为CheckPoint是把State数据持久化存储了）则表示了一个FlinkJob在一个特定时刻的一份全局状态快照，即包含了所有Task/Operator的状态。一、CheckPoint的原理Flink中基于异步轻量级的分布式快照技术提供了Checkpoints容错机制，分布式快照可以将同一时间点Task/Operator的状态数据全局统一快照处理，包括前面提到的Key原创 2020-10-02 01:39:20 · 6411 阅读 · 2 评论 -
hadoop2.74+zookeeper3.4.10+hbase1.2.6HA集群搭建
之前介绍了hadoop2.7.4，zookeeper3.4.10，hbase1.2.6集群的搭建，这种集群只有一个master作为NameNode，一旦master挂机，整个集群就会瘫痪。为了避免这种情况的出现，就要用到backup-master，即开启两个NameNode，一旦master出故障，backup-maser就会立即接管master的工作，使集群保持正常工作，就是HA(High Av...原创 2017-09-19 16:31:10 · 900 阅读 · 0 评论 -
hadoop2.74+zookeeper3.4.10+hbase1.2.6完全分布式搭建
hadoop2.74+zookeeper3.4.10+hbase1.2.6完全分布式搭建原创 2017-09-16 16:56:23 · 979 阅读 · 0 评论 -
离线搭建cdh5.12.2集群
一、安装环境准备1、服务分布一览表 hostname Server Agent MySQL NN DN RM NM JN ZK DFSZKFC node01 1 1 ...原创 2018-08-26 11:51:36 · 1094 阅读 · 0 评论