![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
biwenjun999
这个作者很懒,什么都没留下…
展开
-
clickhouse 入门介绍和预演
一:简介ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。简称CK, 与Hadoop, Spark相比,ClickHouse很轻量级,由俄罗斯第一大搜索引擎Yandex于2016年6月15日开源, 开发语言为C++。这对保守俄罗斯人来说是个特大事。更让人惊讶的是,这个列式存储数据库的跑分要超过很多流行的商业MPP数据库软件,例如Vertica。(如果你没有听过Vertica,那你一定听过 Michael Stonebraker,2014年图灵奖的获得者,Pos...原创 2020-08-25 14:38:48 · 1177 阅读 · 0 评论 -
sonarqube简介+架构+搭建+不同语言详细用法
SonarQube一,简介Sonar 是一个很优秀的代码分析工具,可以帮助程序员们发现很多潜在的问题和BUG。Sonar可以从以下七个维度检测代码质量。1. 不遵循代码标准sonar可以通过PMD,CheckStyle,Findbugs等等代码规则检测工具规范代码编写。2. 潜在的缺陷sonar可以通过PMD,CheckStyle,Findbugs等等代码规则检测工具检测出潜在的缺陷。3. 糟糕的复杂度分布文件、类、方法等,如果复杂度过高将难以改变,这会...原创 2020-06-13 16:38:24 · 8635 阅读 · 1 评论 -
kylin 重点介绍
Kylin是ebay开发的一套OLAP系统,它是一个MOLAP系统,主要用于支持大数据生态圈的数据分析业务,采用多维立方体(Cube)预计算技术,它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中,通过预计算的方式缓存了所有需要查询的的数据结果,需要大量的存储空间(原数据量的10+倍),可以将某些场景下的大数据 SQL 查询速度提升到亚秒级别。Kylin系统架构...原创 2019-09-16 13:38:05 · 1154 阅读 · 0 评论 -
数据仓库常用几种建模方法
本文主要的主线就是回答下面三个问题:什么是数据模型为什么需要数据模型如何建设数据模型最后,我们在本文的结尾给大家介绍了一个具体的数据仓库建模的样例,帮助大家来了解整个数据建模的过程。一、 什么是数据模型数据模型是抽象描述现实世界的一种工具和方法,是通过抽象的实体及实体之间联系的形式,来表示现实世界中事务的相互关系的一种映射。在这里,数据模型表现的抽象的是实体和实体之间的关系,通过...转载 2019-02-18 14:43:31 · 16369 阅读 · 0 评论 -
druid 小测试
单机版安装记录1,下载并解压tar -xzvf ruid-0.12.1-bin.tar.gz2,安装好zk过程略3,配置Druid# vi conf-quickstart/druid/_common/common.runtime.properties---# 配置zookeeper连接,如果zookeeper端口是2181可以不写端口号,多个zookeeper使用英文逗号...原创 2018-12-04 18:16:38 · 757 阅读 · 1 评论 -
Druid系统架构
什么是DruidDruid是一个高效的数据查询系统,主要解决的是对于大量的基于时序的数据进行聚合查询。数据可以实时摄入,进入到Druid后立即可查,同时数据是几乎是不可变。通常是基于时序的事实事件,事实发生后进入Druid,外部系统就可以对该事实进行查询。Druid系统架构Druid是一组系统,按照职责分成不同的角色。目前存在五种节点类型:Historical: 历史节点的职责主要...转载 2018-11-14 15:41:11 · 388 阅读 · 1 评论 -
hive常用调优666
一、查看执行计划explain extended hql;可以看到扫描数据的hdfs路径二、hive表优化分区(不同文件夹):动态分区开启:set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict; 默认值:strict 描述:strict是避免全分区字段是...原创 2018-11-09 16:43:30 · 170 阅读 · 0 评论 -
hbase+phoenix开发预演小例子
************************建表**************************HBASE中创建表,为了防止数据倾斜,建表时要建立预分区create_namespace 'CPLC'create 'CPLC:B_STUDENTS','F1','F2',SPLITS => ['001','002','003']查看所有表list查看表内容scan 'CPL原创 2017-09-25 22:28:14 · 328 阅读 · 0 评论 -
Phoenix安装小结
安装Phoenix首先注意安装phoenix的节点要安装zookeeper,否则会出现客户端连接不上的情况1。将phoenix-4.5.2-HBase-1.1-bin/目录下phoenix-core-4.5.2-HBase-1.1.jar、phoenix-4.5.2-HBase-1.1-server.jar拷贝到各个 hbase的lib目录下。2。官网没有这一步,参考网上资料做原创 2017-01-08 15:28:33 · 367 阅读 · 0 评论 -
hive知识点小结
hive------------------数据仓库,OLAP,分析处理,存储和分析,延迟较高。数据库: OLTP,在线事务处理,低延迟,事务支持。运行在hadoop,类SQL方法方式运行,SQL(HiveQL,HQL),MR运算。操纵的结构化数据。schema(模式,元信息存放到数据库中),HDFS文件。derby,mysql。数据库和表都是路径。hiv原创 2016-11-13 12:42:38 · 1792 阅读 · 0 评论 -
Storm简单介绍
storm------------------实时计算系统。使用场景:实时分析、在线机器学习、持续计算。 流计算。速度快,每秒每节点处理数据百万tuple级别.topology:无状态,集群状态和分布式环境信息在zk中保存。确保每个消息至少被消费一次。核心概念-----------------1.tuple :元组数据结构原创 2016-10-12 14:18:59 · 313 阅读 · 0 评论 -
Hadoop的伪分布和完全分布安装配置过程
客户机环境处理修改win7 hosts文件以便查看web UI-------------------- [C:\Windows\System32\drivers\etc\hosts] 127.0.0.1localhost 192.168.238.128 s100 192.168.238.129 s102原创 2016-09-21 19:13:50 · 1932 阅读 · 0 评论