关注
分享
码上代码
我是码哥，为大家分享技术，面试经验和技巧，主页或私信可以联系我，希望我们成为朋友，一起逆袭
展开
-
Zookeeper Java 客户端 ——Apache Curator
Zookeeper Java 客户端 ——Apache Curator一、基本依赖二、客户端相关操作 2.1 创建客户端实例 2.2 重试策略 2.3 判断服务状态三、节点增删改查  原创 2021-03-05 16:28:37 · 23049 阅读 · 0 评论 -
集群资源管理器——YARN
集群资源管理器——YARN一、hadoop yarn 简介二、YARN架构 1. ResourceManager 2. NodeManager 3. ApplicationMaster &nb原创 2021-01-15 11:23:06 · 485 阅读 · 0 评论 -
分布式计算框架——MapReduce
分布式计算框架——MapReduce一、MapReduce概述二、MapReduce编程模型简述三、combiner & partitioner四、MapReduce词频统计案例 4.1 项目简介 4.2 项目依赖 &原创 2021-01-13 16:01:53 · 484 阅读 · 1 评论 -
Hadoop分布式文件系统——HDFS
Hadoop分布式文件系统——HDFS一、介绍二、HDFS 设计原理 2.1 HDFS 架构 2.2 文件系统命名空间 2.3 数据复制 2.4 数据复制的实现原理 2.5 副本的选择 2.6 架构的稳定性&nbs原创 2021-01-13 09:48:58 · 985 阅读 · 3 评论 -
Hbase的SQL中间层——Phoenix
Hbase的SQL中间层——Phoenix一、Phoenix简介二、Phoenix安装 2.1 下载并解压 2.2 拷贝Jar包 2.3 重启 Region Servers 2.4 启动Phoenix 2.5 启动结果三、Phoenix 简单使用 &n原创 2021-01-12 13:13:03 · 424 阅读 · 2 评论 -
HBase简介
HBase简介一、Hadoop的局限二、HBase简介三、HBase Table四、Phoenix一、Hadoop的局限HBase 是一个构建在 Hadoop 文件系统之上的面向列的数据库管理系统。要想明白为什么产生 HBase，就需要先了解一下 Hadoop 存在的限制？Hadoop 可以通过 HDFS 来存储结构化、半结构甚至非结构化的数据，它是传统数据库的补充，是海量数据存储的最佳方法，它针对大文件的存储，批量访问和流式访问都做了优化，同时也通过多副本解决了容灾问题。但是 Hado原创 2021-01-12 13:11:37 · 362 阅读 · 1 评论 -
Hbase 过滤器详解
Hbase 过滤器详解一、HBase过滤器简介二、过滤器基础 2.1 Filter接口和FilterBase抽象类 2.2 过滤器分类三、比较过滤器 3.1 比较运算符 &nbs原创 2021-01-11 10:57:51 · 1195 阅读 · 1 评论 -
Hbase系统架构及数据结构
Hbase系统架构及数据结构一、基本概念 1.1 Row Key (行键) 1.2 Column Family（列族） 1.3 Column Qualifier (列限定符) 1.4 Column(列) 1.5 Cell  原创 2021-01-08 10:09:31 · 565 阅读 · 1 评论 -
Hbase容灾与备份
Hbase容灾与备份一、前言二、CopyTable 2.1 简介 2.2 命令格式 2.3 常用命令 2.4 更多参数三、Export/Import 3.1 简介 3.2 命令格式  原创 2021-01-08 10:08:21 · 391 阅读 · 1 评论 -
程序员必备技能---Linux常用命令
一、常用操作以及概念快捷键求助关机PATHsudo包管理工具发行版VIM 三个模式GNU开源协议二、磁盘磁盘接口磁盘的文件名三、分区分区表开机检测程序四、文件系统分区与文件系统组成文件读取磁盘碎片blockinode目录日志挂载目录配置五、文件文件属性文件与目录的基本操作修改权限默认权限目录的权限链接获取文件内容指令与文件搜索六、压缩与打包压缩文件名压缩指令打包七、Bash特性变量操.原创 2021-01-07 09:17:00 · 423 阅读 · 0 评论 -
安装hive
1.下载hive安装包2.解压安装包3.配置环境变量修改环境变量/etc/profile：[root@s100 local]# vim /etc/profile1 #hive2 export HIVE_HOME=/usr/local/hive3 export PATH=PATH:PATH:PATH:HIVE_HOME/bin执行source /etc.profile：执行hive...原创 2019-12-09 14:24:31 · 199 阅读 · 3 评论 -
hadoop单机安装和集群安装最全指南
Hadoop单机版环境搭建一、前置条件二、配置 SSH 免密登录三、Hadoop(HDFS)环境搭建四、Hadoop(YARN)环境搭建一、前置条件Hadoop 的运行依赖 JDK，需要预先安装，安装步骤见：Linux 下 JDK 的安装二、配置免密登录Hadoop 组件之间需要基于 SSH 进行通讯。2.1 配置映射配置 ip 地址和主机名映射：vim /etc/...原创 2019-12-10 09:10:42 · 380 阅读 · 4 评论 -
Hbase环境搭建最全指南
HBase集群环境配置一、集群规划二、前置条件三、集群搭建 3.1 下载并解压 3.2 配置环境变量 3...原创 2019-12-12 08:05:53 · 256 阅读 · 3 评论 -
Zookeeper简介及核心概念
Zookeeper简介及核心概念一、Zookeeper简介二、Zookeeper设计目标三、核心概念 3.1 集群角色 3.2 会话 &nb...原创 2020-03-25 09:10:05 · 308 阅读 · 6 评论 -
大数据学习的全面知识总结
一、大数据处理流程 1.1 数据收集 1.2 数据存储 1.3 数据分析  ...原创 2020-04-02 10:57:57 · 1269 阅读 · 3 评论