qq_38250124的博客

HBase基本机构 RowKey 一行 Timestamp时间戳版本号 列族Family 列Qualifier 值Value rowkey行键 相对于一行的id Timestamp 版本号 多个版本的数据 默认没有指定取的是最新的值 Family 列族 存放多个列 可以有多个列族 Qualifier 列 多个列存在于一个列族里面 多列族多列 Value 值 一列一个值 rowkey timestamp family qualifier 确定一个唯一的值 public static byte

Yarn Spark Flink 架构图以及各部分作用Yarn1 ResourceManager2 NodeManager3 ApplicationMaster4 ContainerSpark1 Master2 Worker3 Executor4 Task5 提交方式6 提交脚本参数Flink1 JobManager提交方式 Yarn 1 ResourceManager ResourceManager(RM) 单节点 一个进程 管理nodemanager 相当于 namenode管理datanode 控

zeppelin是一款方便的可视化工具，可以方便的将数据展示为可视化图表 官网下载 完整版解压 配置 cp zeppelin-site.xml.template zeppelin-site.xml 里面是一些端口配置默认就好 cp zeppelin-env.sh.template zeppelin.env.sh 配置一下java_home 即可 启动 bin/zeppelin-da...

1 告诉ambari添加什么服务 /var/lib/ambari-server/resources/stacks/HDP/2.5/services 目录下添加 服务名称 比如TEST 然后在目录下新建metainfo.xml cat /var/lib/ambari-server/resources/stacks/HDP/2.5/services/TEST/metainfo.xml 包括...

而 从ods层开始就要开始记录一些字段来保证数据的一致性 比如有 从哪个库来的等等， 个人整理关于数据仓库的一些知识点以备后续查询 ods(贴源层) dw（数据仓库层） dm（数据集市层） 数据仓库（data warehouse）是一个 面向主题的 集成的 相对稳定的 反映历史变化的 数据集合用于支撑管理决策 面向主题：不同主题对应于不同的业务，如淘宝，买家，卖家 集成：...

转自https://blog.csdn.net/qq_33624952/article/details/79341034 一、Yarn通俗介绍 Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一 种新的 Hadoop 资源管理器，它是一个通用资源管理系统和调度平台，可为上层应用提供统 一的资源管理和调度，它...

1 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 2 ssh 免密 每个节点上 ssh-keygen 然后每个节点 ssh-copy-id user@ip expect -c " set timeout -1; spawn ssh-keygen expect...

hue 是cdh中自带的组件，也可单独安装（麻烦），hue 是hadoop ui,利用它可以很直观的操作和查看hadoop生态应用。一般安装cloudera manager之后会自动带有hue管理界面 first 安装所需依赖 yum install -y maven git npm cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-pla...

hue可以集成大数据组件可以更加便捷的操作大数据集群 为cdh开源 单击版安装 centos 7 先安装依赖 yum install -y cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-de...

conf/storm.yaml#指定storm使用的zk集群storm.zookeeper.servers:     - "mini01"     - "mini02"     - "mini03"#指定storm本地状态保存地址storm.local.dir: "/root/storm"#指定storm集群中的nimbus节点所在的服务器nimbus.host: "mini01"#指定nimbu...