![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 69
weixing_2006
好记性不如烂笔头
展开
-
基于Prometheus+Grafana搭建可视化监控服务 (一) Prometheus监控
转发于基于Prometheus+Grafana搭建可视化监控服务(一)Prometheus监控目录基于Prometheus+Grafana搭建可视化监控服务(一)Prometheus及Exporter安装一、概述二、安装Prometheus2.1.安装Prometheus2.2.将Promethues配置成系统服务2.3.通过systemctl启动prometheus2.4.prometheus界面三、监控远程Linux主机。...原创 2022-08-02 11:21:36 · 1382 阅读 · 1 评论 -
sql 函数解析json类型字段一行转成多列 lateral view
表结构CREATE TABLE hive.tmp.tmp_all (row_wid varchar(1024),status string,)WITH (format = ‘ORC’)status的值为:数组presto的函数如果想要将ARRAY转换为一组行,即平展操作,可以使用UNNEST运算符。(注意函数名 unnest 不要写错了)UNNEST获取一个ARRAY,然后平铺成一个表,表中的每一行都是该ARRAY中的元素doris的数组解析符合特殊场景)......原创 2022-07-08 18:10:28 · 1494 阅读 · 0 评论 -
hdfs跨集群传输数据
跨集群传输数据:(由nameservice2集群传入nameservice1集群)这里传输的时候目录要以/结尾,不行就在/添加*hadoop distcp -skipcrccheck hdfs://nameservice2/user/hive/warehouse/ods_yspay_trade.db/ods_orderbill/ hdfs://nameservice1/user/hive/warehouse/temp.db/orderbill_test/传入之后hive查询不到数据:如果添加正原创 2020-07-15 19:13:42 · 669 阅读 · 0 评论 -
hive建模和优化,impala刷新元数据和表
建模1、介绍Hive作为数据仓库,同关系型数据库开发过程类似,都需要先进行建模,所谓建模,就是对表之间指定关系方式。建模在hive中大致分为星型、雪花型和星座型。要对建模深入理解,首先需要对hive数仓中的集中表概念进行界定。hive中的表从形态上分内部表、外部表、桶表、分区表。在数据逻辑上划分为维度表和事实表。维度表等价于我们常说的字典表。事实表就是字典表之外的数据表。1.1 星型多张维...原创 2019-11-25 10:47:42 · 3480 阅读 · 0 评论 -
CDH6.1.0后安装Kylin(麒麟)
详细搭建过程(前提搭建好hdfs yarn zk hbase spark)tar zxvf apache-kylin-2.5.2-bin-cdh60.tar.gzvi /etc/profileexport KYLIN_HOME=/opt/apache-kylin-3.0.1-bin-cdh60export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/h...原创 2020-04-26 17:54:08 · 1124 阅读 · 0 评论 -
centos7离线生产的CDH6.1.0的安装
CDH6的RPM包地址:下载CM6.1的安装包https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_6...原创 2019-12-16 10:42:35 · 685 阅读 · 0 评论 -
HBase加载数据,和hive整合
HBase加载数据原理:利用HBase的数据信息按照特定格式存储在hdfs内这一原理,直接在HDFS中生成持久化的HFile数据格式文件,然后上传至适当位置;HFile文件:是数据的实际存储格式,他是二进制文件。StoreFile对HFile进行了封装。HBase的数据在底层文件中时以KeyValue键值对的形式存储的,HBase没有数据类型,HFile中存储的是字节,这些字节按字典序排列。自...原创 2019-09-16 17:24:01 · 221 阅读 · 0 评论 -
ElasticSearch的JavaAPI入门2
/** * 模糊查询,自动纠正拼写错误单词,最大纠正次数是两次 * 查询 say helol */@Testpublic void fuzzyQuery(){ //通过模糊查询,查询helol这个单词 FuzzyQueryBuilder fuzziness = QueryBuilders.fuzzyQuery("say", "helol").fuzziness(Fu...原创 2019-09-14 20:18:17 · 195 阅读 · 0 评论 -
ElasticSearch简单入门JavaAPI
public class EStudyFirst {private TransportClient client = null;/** * 获取客户端连接对象 */@BeforeTestpublic void getClient() throws UnknownHostException { //获取settings设置对象 Settings settings...原创 2019-09-13 18:06:55 · 135 阅读 · 0 评论 -
MapReduce编程规范、计数统计和分区详解
Map 阶段 2 个步骤设置 InputFormat 类, 将数据切分为 Key-Value(K1和V1) 对, 输入到第二步自定义 Map 逻辑, 将第一步的结果转换成另外的 Key-Value(K2和V2) 对, 输出结果Shuffle 阶段 4 个步骤对输出的 Key-Value 对进行分区对不同分区的数据按照相同的 Key 排序(可选) 对分组过的数据初步规约, 降低数据...原创 2019-08-20 23:03:01 · 418 阅读 · 0 评论 -
hdfs的元数据辅助关联和redis数据持久化汇总对比
hdfs的元数据辅助关联在Hadoop的集群当中,NameNode的所有元数据信息都保存在了FsImage(镜像文件)与Eidts(日志文件)文件当中,这两个文件就记录了所有的数据的元数据信息,元数据信息的保存目录配置在hdfs-site.xml中。edits:edits存放了客户端最近一段时间的操作日志客户端对HDFS进行写文件时会首先被记录在edits文件当中edits修改时,元数据...原创 2019-08-22 11:38:57 · 267 阅读 · 0 评论