大数据运维
文章平均质量分 87
zhiliang-chen
大数据工程师
展开
-
kafka开启kerberos,报错server not found in kerberos database
kafka开启了SASL(kerberos), server.properties配置为sasl.enabled.mechanisms: GSSAPIsecurity.inter.broker.protocol: SASL_PLAINTEXTssl.mode.enable: falseallow.everyone.if.no.acl.found: truesasl.port: 19092服务端的jaas.conf内容为KafkaServer {com.sun.security.auth.m原创 2020-07-31 10:20:17 · 19177 阅读 · 0 评论 -
azkaban 安装
在hadoop领域,常见工作流调度系统有:Oozie,Azkaban,Cascading,Hamake环境centos 6.5JDK 8azkaban 3.79hostnameipvps138192.168.1.138vps155192.168.1.155vps156192.168.1.156下载$ cd /var/tmp$ wget ...原创 2019-11-08 10:15:24 · 349 阅读 · 0 评论 -
kylin 术语
Data Warehouse: 数据仓库(DW或DWH),企业数据仓库(EDW),用于生成报告和数据分析的系统;Business Intelligence: 商业智能(BI),包含一系列的技术和工具,用于将原始数据转换为有意义的和有用的信息,用于商业分析;OLAP: 在线分析处理;OLAP Cube: 一个OLAP cube是一组数据,由0或多个维度组成;Star Schema: 星型模...翻译 2019-10-28 11:21:27 · 126 阅读 · 0 评论 -
kylin 专有的概念
CUBETable: 作为cubes源的hive表;在构建cubes前要先syncData Model: 描述星型模式数据模型;定义fact/lookup表和过滤条件Cube Descriptor: cube实例的定义和设置;定义使用的model,要包含的dimensions和measures,如何分区segments和处理自动合并等;Cube Instance: cube实例;从Cub...翻译 2019-10-28 10:36:09 · 285 阅读 · 0 评论 -
kylin实例
示例数据参见: kylin 用实例说明原理hive新表原始表create table if not exists chenzl.kylintest ( year int, city string, price int)row format delimitedfileds terminated by '|'lines terminated by '\n'stor...原创 2019-09-29 17:26:41 · 367 阅读 · 0 评论 -
kylin 原理
Kylin是预计算引擎,如果有N个维度,则会计算出2^N个结果;示例数据源表: kylintest2个维度(dimensions): year,city1个指标(measure): priceyearcityprice1993beijing101993beijing301994shanghai201994beijing40预聚...原创 2019-09-29 17:04:12 · 233 阅读 · 0 评论 -
JAVA JDK 安装
JAVA安装环境centosjdk 1.8两种安装包openjdkOracle JDK 8u212openjdk安装简单,但CDH现在还不支持openjdkopenjdk安装yum install javaOracle JDK从官网下载jdk的安装包github下载地址https://github.com/frekele/oracle-javaOracle ...原创 2019-09-27 17:30:01 · 210 阅读 · 0 评论 -
Superset 安装和简单使用
环境centos 6.5anaconda 3superset 0.30MySQL 5.7.26参见: anaconda 安装和简单使用安装//# 创建,激活虚拟环境$ conda create --name py3 python=3.6$ source activate py3//# superset安装$ pip install pandas==0.23.4$ pi...原创 2019-09-25 10:19:50 · 1053 阅读 · 0 评论 -
flume 从MySQL导入到kafka
从MySQL导入到kafka环境centos 6JDK 1.8flume 1.9flume-ng-sql-source 1.5zookeeper单实例kafka单实例启动zk,kafka//# 启动zookeeper$ zkServer.sh start//# 启动kafka$ kafka-server-start.sh -daemon server.properti...原创 2019-09-19 15:30:50 · 522 阅读 · 1 评论 -
flume 从mysql读数据,写入hdfs
环境centos 6JDK 1.8CDH 5.15flume 1.9flume-ng-sql-source 1.5mysql-connector-java-5.1flume使用流程命名agent命名agent.source命令agent.channal命名agent.sink通过channal连接source和sink命令格式$ flume-ng agent -...原创 2019-09-19 13:34:28 · 688 阅读 · 0 评论 -
flume 安装
flume 安装Flume NG为数据传输工具,安装为代理节点(agent),代理节点由 source,sink,Channel 组成;环境vps156centos 7jdk 1.8flume 1.9下载解压$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/flume/stable/apache-flume-1.9.0-bin...原创 2019-09-19 11:55:20 · 164 阅读 · 0 评论 -
kafka 单实例安装
kafka需要zookeeper,zk安装参见zookeeper 单节点安装下载解压$ cd /var/tmp$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz$ tar -xzf kafka_2.12-2.3.0.tgz$ mv kafka_2.12-2.3.0 /usr...原创 2019-09-17 13:48:38 · 1483 阅读 · 0 评论 -
kafka 快速开始
kakfa 快速开始下载并解压tar -xzf kafka_2.12-2.3.0.tgzcd kafka_2.12-2.3.0启动服务kafka使用zookeeper,要先启动zk;//包里包含了zk,启动单节点zkbin/zookeeper-server-start.sh config/zookeeper.properties//启动kafka服务bin/kafka-serv...翻译 2019-09-17 10:04:54 · 183 阅读 · 0 评论 -
zookeeper 集群安装
在多物理机上运行Zookeeper 实例下载cd /usr/tmpwget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.5/apache-zookeeper-3.5.5-bin.tar.gz解压tar -zxf apache-zookeeper-3....原创 2019-09-16 18:14:22 · 111 阅读 · 1 评论 -
zookeeper 伪分布式安装
在一台物理机上运行多个 Zookeeper 实例下载cd /usr/tmpwget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.5/apache-zookeeper-3.5.5-bin.tar.gz解压tar -zxf apache-zookeepe...原创 2019-09-16 18:11:24 · 263 阅读 · 0 评论 -
zookeeper 单实例安装
下载cd /usr/tmpwget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.5/apache-zookeeper-3.5.5-bin.tar.gz解压tar -zxf apache-zookeeper-3.5.5-bin.tar.gzmv apa...原创 2019-09-16 18:08:56 · 450 阅读 · 0 评论