developv005——olap
developv005——olap
yanqi_vip
strove with none, for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ——W.S.Landor
展开
-
SS00001.olap——|服务启动导航.v01|————|Hadoop.v01|yarn调整map&reduce参数.v01|
附录一:报错处理一:### --- 报错现象:~~~ 卡在这个位置不会动,数据没有加载~~~ 在执行这个的时候,把history打开,用于监控错误信息[root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21Cannot run job locally: Input Size (= 3...原创 2022-04-17 16:13:00 · 141 阅读 · 0 评论 -
SS00002.olap——|服务启动导航.v02|————|Hadoop.v02|yarn调整map&reduce参数.v02|
附录一:Mapreduce内存参数调整一:### --- 在mapreduce配置文件下配置[root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml<!-- 设置map、reduce合理内存参数 --><property> <...原创 2022-04-17 16:14:00 · 67 阅读 · 0 评论 -
SS00003.olap——|服务启动导航.v03|————|zookeeper.v03|集群搭建|
一、Zookeeper环境搭建:HA模式### --- 下载并解版本包[root@hadoop02 ~]# ls /opt/yanqi/software/zookeeper-3.4.14.tar.gz /opt/yanqi/software/zookeeper-3.4.14.tar.gz [root@hadoop02 ~]# cd /opt/yanqi/software/...原创 2022-04-17 16:14:00 · 126 阅读 · 0 评论 -
SS00004.olap——|服务启动导航.v04|————|NTP.v04|时间同步服务器配置:方案二|
一、安装ntp服务### --- 安装ntp服务~~~ # hadoop01、hadoop02、hadoop03安装ntp服务:[root@hadoop01 ~]# yum -y install ntp### --- 配置文件修改~~~ # 修改ntp.conf配置文件:hadoop01、hadoop02、hadoop03[root@hadoop01...原创 2022-04-17 16:15:00 · 92 阅读 · 0 评论 -
SS10000.olap——|Navigation|
NO:Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...原创 2022-04-17 16:15:00 · 51 阅读 · 0 评论 -
SS00001.olap——|Hadoop&OLAP数据库管理系统.v01|——|ClickHouse.v01|单击模式|集群模式|
一、ClickHouse下载### --- 下载地址~~~ 官网:https://clickhouse.yandex/~~~ 下载地址:http://repo.red-soft.biz/repos/clickhouse/stable/el6/二、ClickHouse单击模式安装### --- 单机模式:hadoop01~~~ # 上传...原创 2022-04-17 16:16:00 · 81 阅读 · 0 评论 -
SS00002.olap——|Hadoop&OLAP数据库管理系统.v02|——|ClickHouse.v02|表引擎|MergeTree存储策略|
一、MergeTree存储策略配置### --- 整体配置:配置mergetree存储配置方案~~~ 所有主机创建mergetree存储目录[root@hadoop01 ~]# mkdir -p /var/lib/clickhouse/chbase/colddata[root@hadoop01 ~]# mkdir -p /var/lib/clickhouse/chba...原创 2022-04-17 16:17:00 · 95 阅读 · 0 评论 -
SS00003.olap——|Hadoop&OLAP数据库管理系统.v03|——|ClickHouse.v03|表引擎|MergeTree|
一、JBOD策略### --- 配置方式在config.xml配置文件中指定:~~~ # 在集群主机上config.xml配置JBOD策略[root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml~~~ 在config.xml文件最后一行:</yandex>参数之上添加JBOD参数<stor...原创 2022-04-17 16:18:00 · 71 阅读 · 0 评论 -
SS00004.olap——|Hadoop&OLAP数据库管理系统.v04|——|ClickHouse.v04|表引擎|MergeTree|
一、HOT/COLD策略### --- 配置方式在config.xml配置文件中指定:~~~ # 在集群主机上config.xml配置JBOD策略[root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml~~~ 在config.xml文件最后一行:</yandex>参数之上添加JBOD参数<...原创 2022-04-17 16:18:00 · 157 阅读 · 0 评论 -
SS00005.olap——|Hadoop&OLAP数据库管理系统.v05|——|ClickHouse.v05|ClickHouse链接HDFS|
一、HDFS### --- HDFS~~~ 该引擎提供了集成 Apache Hadoop 生态系统通过允许管理数据 HDFS通过ClickHouse. ~~~ 这个引擎是相似的 到 文件和 URL 引擎,但提供Hadoop特定的功能。### --- 用途~~~ 该 URI 参数是HDFS中的整个文件URI。 该 format 参数指定一种可用...原创 2022-04-17 16:18:00 · 72 阅读 · 0 评论 -
SS00006.olap——|Hadoop&OLAP数据库管理系统.v06|——|ClickHouse.v06|ClickHouse链接MySQL|
一、ClickHouse链接mysql### --- mysql说明~~~ MySQL 引擎可以对存储在远程 MySQL 服务器上的数据执行 SELECT 查询。### --- 调用格式:MySQL('host:port', 'database', 'table', 'user', 'password'[, replace_query,'on_duplica...原创 2022-04-17 16:19:00 · 71 阅读 · 0 评论 -
SS00007.olap——|Hadoop&OLAP数据库管理系统.v07|——|ClickHouse.v07|ClickHouse链接kafka|
一、ClickHouse链接Kafka### --- ClickHouse链接Kafka:此引擎与 Apache Kafka 结合使用。~~~ # Kafka 特性:~~~ 发布或者订阅数据流。~~~ 容错存储机制。~~~ 处理流数据。### --- 链接语法格式~~~ # 老版格式:Kafka(kafka_broke...转载 2022-04-17 16:20:00 · 79 阅读 · 0 评论 -
SS00008.olap——|Hadoop&OLAP数据库管理系统.v08|——|ClickHouse.v08|ClickHouse链接JDBC|
一、JDBC### --- ClickHouse链接JDBC~~~ 允许CH通过 JDBC 连接到外部数据库。~~~ 要实现JDBC连接,CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。~~~ 该引擎支持 Nullable 数据类型。### --- 建表语法CREATE TABLE [IF NOT EXISTS...原创 2022-04-17 16:20:00 · 71 阅读 · 0 评论 -
SS00009.olap——|Hadoop&OLAP数据库管理系统.v09|——|kudu.v01|部署安装|ntp|
一、安装和运行### --- 安装前提和准备~~~ # 硬件:~~~ 一台或者多台机器跑kudu-master。~~~ 建议跑一个master(无容错机制)、~~~ 三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。~~~ 一台或者多台机器跑kudu-tserver。当需要使用副本,至少需要三个节点运...原创 2022-04-17 16:21:00 · 108 阅读 · 0 评论 -
SS00010.olap——|Hadoop&OLAP数据库管理系统.v10|——|Kylin.v01|zookeeper&kafka|集群搭建|
一、集群搭建:搭建设计### --- 分配三台Linux,用于安装拥有三个节点的Kafka集群。Hadoop01 192.168.1.121Hadoop02 192.168.1.122Hadoop03 192.168.1.123一、部署kafka集群:配置hosts文件### --- 以上三台主机的/etc/hosts配...原创 2022-04-17 16:21:00 · 124 阅读 · 0 评论 -
SS00011.olap——|Hadoop&OLAP数据库管理系统.v11|——|Kylin.v02|HBase集群部署|
一、HBase集群安装部署### --- 下载安装包~~~ # 下载HBase版本包[root@hadoop01 software]# wget http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz### --- 解压安装包到指定的规划目录[root@hadoop01 softwar...原创 2022-04-17 16:21:00 · 191 阅读 · 0 评论 -
SS00012.olap——|Hadoop&OLAP数据库管理系统.v12|——|Kylin.v03|HBase Shell操作|
一、HBase shell 基本操作### --- 进入Hbase客户端命令操作界面~~~ # 进入hbase客户端[root@hadoop01 ~]# hbase shell~~~ # 查看帮助命令hbase(main):004:0> help~~~ # 查看当前数据库有哪些表hbase(main):008:0> list...原创 2022-04-17 16:22:00 · 60 阅读 · 0 评论 -
SS00013.olap——|Hadoop&OLAP数据库管理系统.v13|——|Kylin.v04|Spark集群部署|
一、spark安装### --- 下载软件解压缩,~~~ # 下载spark版本包[root@hadoop01 software]# wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-without-hadoop-scala-2.12.tgz~~~ # 解压版本包[r...原创 2022-04-18 13:27:00 · 82 阅读 · 0 评论 -
SS00014.olap——|Hadoop&OLAP数据库管理系统.v14|——|Kylin.v05|Spark-standalone集群模式|
一、集群模式--Standalone模式### --- 检查集群状态~~~ # 启动服务[root@hadoop01 ~]# start-dfs.sh [root@hadoop01 ~]# start-yarn.sh[root@hadoop01 ~]# start-all-spark.sh~~~ # 检查集群状态[root@hadoop00 ~]#...原创 2022-04-18 13:28:00 · 575 阅读 · 0 评论 -
SS00015.olap——|Hadoop&OLAP数据库管理系统.v15|——|Kylin.v06|history server|
一、History Server配置### --- History Server~~~ # 配置服务的history server:spark-defaults.conf[root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-defaults.conf# history serverspark.master ...原创 2022-04-18 13:28:00 · 560 阅读 · 0 评论 -
SS00016.olap——|Hadoop&OLAP数据库管理系统.v16|——|Kylin.v07|sparkcore高可用配置|
一、高可用配置:spark standalone集群配置### --- 修改 spark-env.sh 文件,并分发到集群中[root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-env.sh# export SPARK_MASTER_HOST=hadoop01 # 注释掉这2行内容# export SPARK...原创 2022-04-18 13:29:00 · 80 阅读 · 0 评论 -
SS00017.olap——|Hadoop&OLAP数据库管理系统.v17|——|Kylin.v08|Kylin部署配置|
一、Kylin安装环境准备:依赖环境软件版本Hive2.3.7Hadoop2.9.2HBase1.3.1Zookeeper3.4.14Kafka1.0.2Spark2.4.5二、集群规划serverHadoop01hadoop02hadoop03HDFSNameNode✔...原创 2022-04-18 13:29:00 · 593 阅读 · 0 评论 -
SS00018.olap——|Hadoop&OLAP数据库管理系统.v18|——|Kylin.v09|Kylin构建Cube|Segment管理|
一、使用JDBC连接操作Kylin### --- 使用JDBC连接操作Kylin~~~ 要将数据以可视化方式展示出来,需要使用Kylin的JDBC方式连接执行SQL,获取Kylin的执行结果~~~ 使用Kylin的JDBC与JDBC操作MySQL一致~~~ jdbc url:jdbc:kylin://hadoo02:7070/yanqi_sales_o...原创 2022-04-18 13:30:00 · 98 阅读 · 0 评论 -
SS00019.olap——|Hadoop&OLAP数据库管理系统.v19|——|Kylin.v10|Kylin构建Cube|实时OLAP.V2|
一、OLAP环境准备### --- OLAP环境准备~~~ # 进入服务部署目录[root@hadoop02 ~]# cd /opt/yanqi/servers/~~~ # coordinator[root@hadoop02 servers]# cp -r kylin-3.1.1/ kylin-3.1.1-master/~~~ # receiver...原创 2022-04-18 13:30:00 · 261 阅读 · 0 评论 -
SS00020.olap——|Hadoop&OLAP数据库管理系统.v20|——|Kylin.v11|Apache Druid部署|单服务器部署|
一、Druid 部署### --- 下载Druid版本包并解压版本包~~~ # 下载 Druid 安装包、并解压缩:~~~ # Druid官网:https://druid.apache.org/[root@hadoop01 ~]# cd /opt/yanqi/software/~~~ # 官网源下载地址[root@hadoop01 software...原创 2022-04-18 13:31:00 · 90 阅读 · 0 评论 -
SS00021.olap——|Hadoop&OLAP数据库管理系统.v21|——|Kylin.v12|Apache Druid部署|集群部署|
一、集群部署### --- 环境资源说明~~~ 虚拟机每个节点2core、3G~~~ DeepStorage:Hadoop 2.9.2### --- 部署规划:集群部署采用的分配如下~~~ 主节点部署 Coordinator 和 Overlord进程~~~ 数据节点运行 Historical 和 MiddleManager进程~~~...原创 2022-04-18 13:31:00 · 130 阅读 · 0 评论 -
SS00022.olap——|Deployment|
NO:Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...原创 2022-04-18 13:32:00 · 49 阅读 · 0 评论