- 博客(20)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 superset安装及简单使用
SupersetBI VS 报表工具报表工具是数据展示工具，而BI（商业智能）是数据分析工具。报表工具可以制作各类数据报表、图形报表的工具，甚至还可以制作电子发票联、流程单、收据等。BI可以将数据进行模型构建，制作成Dashboard，相比于报表，侧重点在于分析，操作简单、数据处理量大。常常基于企业搭建的数据平台，连接数据仓库进行分析。简介Superset是一款开源的现代化企业级BI。它是目前开源的数据分析和可视化工具中比较好用的，功能简单但可以满足我们对数据的基本需求，支持多种数据源
2020-11-23 14:46:14
26967
11
原创 LINUX------Redis安装 ,Linux 下载Redis命令, 安装Redis命令
Redis 环境安装安装目录的准备安装目录: /export/servers软件存放的目录: /export/software日志文件的目录: /export/logs数据存放的目录: /export/data创建以上目录: mkdir -p /export/serversmkdir -p /export/softwaremkdir -p /export/logsmk...
2020-03-04 22:15:01
364
原创 Hbase整体基本架构
Hbase基本架构Hbase 是一个主从架构,的集群, 主角色叫做HMaster ,从角色叫做HRegionserver 部署的时候可以一主多从,也可以多住多从形成高可用机制Hbase 组成部分HMasterHMaster 节点是Hbase 集群的主角色,主要职责如下:对于表的操作DDL: create ,delete , alter 对于RegionServer 的操作,分...
2020-02-26 23:09:44
871
原创 数据仓库理论知识
数据仓库理论知识为什么要分层分层的主要原因是在管理数据的时候，能对数据有一个更加清晰的掌控，详细来讲，主要有下面几个原因：清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据血缘追踪：简单来说，我们最终给业务呈现的是一个能直接使用业务表，但是它的来源有很多，如果有一张来源表出问题了，我们希望能够快速准确地定位到问题，并清楚它的危害范围。减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。把复杂问题简单化：将一个复杂的任务分
2022-03-15 23:56:11
237
原创 数据仓库维度模型设计
**数据仓库维度模型设计**维度建模基本概念维度模型是数据仓库领域大师Ralph Kimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型，构建的数据模型为分析需求服务，因此它重点解决用户如何更快速完成分析需求，同时还有较好的大规模复杂查询的响应性能。维度建模是专门应用于分析型数据库 数据仓库 数据集市建模的方法。数据集市可以理解为是一种"小型数据仓库"。事实表发生在现实世界中的操作型事件，其所产生的可度量数值，存储在事实表中。从
2022-03-15 23:51:10
279
原创 centos7 集群时间同步
centos7集群时间同步安装NTPyum install ntp ntpdate -y修改配置文件vim /etc/ntp.confserver 0.centos.pool.ntp.org iburst server 1.centos.pool.ntp.org iburstserver 2.centos.pool.ntp.org iburstserver 3.centos.pool.ntp.org iburst改为#server 0.centos.pool.ntp.org ib
2021-03-13 17:13:41
270
原创 CDH6离线安装步骤遇到问题及解决方案
centos7 安装CDH6集群环境安装包准备centos7安装包下载使用VMware虚拟机安装centos7克隆虚拟机(至少克隆三台虚拟机) 我的配置(4G内存 8和处理器 100G 硬盘)下载cdh包下载地址: https://archive.cloudera.com/cdh6/6.2.1/parcels/ https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/RPMS/x86_64/[外链图片转存失败,源站可能有防盗链机制,建议将图
2021-03-12 16:41:23
1167
原创 hive行列转换函数使用示例
hive 行列转换函数行转列 多行合并为一列使用函数：concat_ws(‘,’,collect_set(column))collect_list 不去重collect_set 去重column 的数据类型要求是 string示例:构建测试数据vim row_to_col.txta b 1a b 2a b 3c d 4c d 5c d 6 建表create table tabname(col1 String,col2 String,col3 stirng
2020-12-04 18:09:17
711
原创 Hive常用函数归纳总结
Hive 常用函数一, 关系运算符等值比较: =语法: A=B操作类型: 所有基本类型描述: 如果表达式A与表达式B相等,则为TRUE; 否则为FALSEhive> select 1 from tabname where 1=1不等值比较: <>语法: A<>B操作类型: 所有基本类型描述: 如果表达式A为NULL,或者表达式B为NULL, 返回NULL;如果表达式A与B不相等, 则为TRUE; 否则为FALSEhive> select 1 fro
2020-12-04 18:07:23
186
原创 kafka入门基础命令
kafka启动命令./bin/kafka-server-start.sh(启动命令) -daemon(后台启动参数) config/server.properties (配置文件)kafka语法查看主题个数 命令 ./bin/kafka-topics.sh --list --zookeeper Hadoop01:2181创建主题 命令 ./bin/kafka-topics.sh --create --zookeeper Hadoop01:2181 --topic first.
2020-11-26 16:39:54
118
原创 Spark Local模式安装
Spark Local模式安装如何安装步骤：1-准备好已经编译好的spark的软件包2-上传到Linux中，对应目录3-解压对应压缩包tar -zxvf spark.tar.gz -C /export/servers4-配置环境变量当前local环境下仅仅需要配置conf/spark-env.shcp spark-env.sh.template spa...
2020-03-30 00:46:55
238
原创 挂载硬盘操作文档
挂载新的硬盘操作1,1目标给虚拟机增加一块硬盘1.2 路径1,了解 Linux系统分区的原理2,查看系统分区情况3, 虚拟机增加硬盘4, 建立分区5, 格式化分区6, 挂在映射分区7, 设置重启后挂载不失效1.3实现1, 一个硬盘可以分成多个分区用户不能直接操作硬件,需要让硬件和系统的目录建立映射关系 ,这个操作称为挂载2 , 查看系统分区挂载情况# 查看所有设备的...
2020-03-13 15:35:38
179
原创 挂载系统镜像的光驱操作文档
挂载系统镜像的光驱光驱也是一块存储设备，类似于硬盘，所以，光驱在安装系统的时候就映射到了linux的分区（sr0）上，如果在linux系统中想使用光驱中的安装包，我们需要将光驱所对应的分区，挂载（映射）到linux的一个空文件夹中目标因为Linux 系统镜像中包含了常用的软件包,就不用了从网上下载了所以需要挂载持有系统镜像的光驱1, 路径将Linux 系统镜像放到光驱中创建/mnt/...
2020-03-05 08:52:00
469
原创 本地 yum源及局域网yum源制作使用
yum源制作目标yum 本质上也是软件包管理器特点 基于RPM包管理,能够从制定的服务器自动下载,自动安装,自动处理依赖性关系路径yum 的原理常用的指令(重点)制作本地yum 源制作局域网yum 源常用命令命令含义yum list | grep 需要的软件名查询服务器是否有需要安装的软件yum -y install 需要的软件包下载安装...
2020-03-04 17:29:36
139
原创 Redis缓存击穿问题,缓存雪崩问题
Redis缓存击穿问题,缓存雪崩问题Redis 缓存击穿问题由于数据量比较大,mysql 数据库读写速度跟不上 使用了Redis缓存, 将常读写数据放入Redis缓存, 频繁操作的数据在Redis 不频繁操作数据在数据库,热搜词举例 ,算法计算出 热搜词放入Redis 不常用词 放入SQL 算法没有写好热搜词放入了mysql数据库中后服务器读取数据在Redis找不到 直接穿过Redis...
2020-03-01 23:00:50
256
原创 Linux安装Tomcat简单教程
安装Tomcat路径将安装包上传到 /export/software 解压到 /export/servers启动Tomcat 且查看日志上传项目测试实现第一步 将安装包上传到 /export/software,解压到/export/servers# 切换到保存软件的目录cd /export/software # 解压到/export/servers 安装目录...
2020-03-01 20:18:46
145
原创 Linux安装mysql五分钟搞定
mysql 安装yum 安装: 是通过执行yum 命令,自动分析依赖关系 自动下载,自动安装优点 安装简单快速缺点 由于不同的yum 仓库只有特定的几个版本,所以可选的版本较少安装查询系统自带的mysql 并将其卸载# 查看系统自带的mysqlrpm -qa |grep mysql# 卸载系统自带的mysqlrpm -e --nodeps mysql-libs-5.1.73-...
2020-02-29 22:32:39
118
原创 Hbase安装启动后报错 org.apache.hadoop.hbase.PleaseHoldException: Master is initializing解决方案
org.apache.hadoop.hbase.PleaseHoldException: Master is initializingHbase 安装后创建表报错如下 :org.apache.hadoop.hbase.PleaseHoldException: Master is initializing原因:端口问题conf/Hbase-size.xml配置文件中Hadoop na...
2020-02-24 22:43:11
560
原创 Linux--Centos6.9--系统JDK安装步骤
Linux–Centos6.9–系统JDK安装#创建安装路径文件夹mkdir -p /export/servers # 软件安装文件夹1,卸载Linux 系统提供的jdk #查询已安装的jdk rpm -qa |grep java #卸载 rpm -qa --nodeps 软件包名2, 上传安装包到/export/servers解压到当前文件夹 #将...
2020-02-24 13:02:57
133
原创 大数据平台网站日志分析流程
大数据平台网站日志分析系统数据采集：页面 埋点 JavaScript 采集 开源框架 Apache F lume数据预处理：Hadoop M ap R educe 程序数据仓库技术：基于hadoop 的 数据仓库 Hive数据导出：基于hadoop 的 sqoop 数据导入导出工具数据可视化：定制开发web 程序 echarts整个过程的流程调度：hadoop 生态圈中的...
2020-02-23 22:07:29
480
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人