大数据其他技术
文章平均质量分 86
大数据非系统学习技术归档
orange大数据技术探索者
这个作者很懒,什么都没留下…
展开
-
Apache Paimon官网学习记录
paimon在官网的学习,简单记录一下其中的核心特点。原创 2024-01-29 10:35:36 · 1322 阅读 · 0 评论 -
Apache Doris使用总结
doris简介到特性到一些简单的进阶用法原创 2023-05-04 17:22:15 · 5018 阅读 · 0 评论 -
ClickHouse 使用介绍
ck介绍原创 2023-06-06 16:40:36 · 1206 阅读 · 0 评论 -
数据质量和治理论
数据质量和数据治理,这个概念很大不是一两个人可以处理的问题,但是又不得不做,往往需要整个团队或者跨团队协作尽量去处理好这个事情以下是一些方法论。原创 2024-01-29 14:23:23 · 924 阅读 · 0 评论 -
hbase使用介绍
hbase一个表由多个region组成,一个region是包含多个rowkey的数据,连续编号的rowkey会被分配到同一个region中,大量client访问hbase集群一个或者少数几个节点,造成regionserver读写请求过大,负载过大,引起性能下降甚至region不可用,而其他regionserver负载很小,就造成热点现象,大量连续编号的rowkey导致大量rowkey相近的记录集中在个别region导致client对个别region访问过多。尽量减少行和列的大小。原创 2020-06-09 11:38:07 · 120 阅读 · 1 评论 -
Zookeeper
目录概述特点数据结构应用场景zk命令(重点)zk原理解析节点类型Stat结构体监听器原理(重点)Paxos算法(扩展)选举机制(重点)写数据流程ZooKeeper的部署方式有哪几种?集群中的角色有哪些?集群最少需要几台机器?概述Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目特点数据结构应用场景提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等zk命令(重点)命令基本语法功能描述he原创 2020-07-01 11:06:34 · 1196 阅读 · 0 评论 -
flume遇到的问题一
1、 [ERROR - org.apache.thrift.server.AbstractNonblockingServer$FrameBuffer.invoke(AbstractNonblockingServer.java:484)] Unexpected throwable while invoking!java.lang.OutOfMemoryError: Java heap space...原创 2019-04-10 20:38:58 · 918 阅读 · 1 评论 -
cdh
卸载自带jdkrpm查询java安装包名称#rpm -qa |grep java#rpm -qa |grep jdk#rpm -qa |grep gcjrpm删除安装包rpm -e --nodeps tzdata-java-2014b-1.el7.noarch原创 2019-04-06 20:05:00 · 139 阅读 · 0 评论 -
elk简单记录
ELK技术栈: 主要做日志分析平台指的是几个工具:ElasticSearch、Logstash、Kibana。ElasticSearch:(ES)Java语言实现的,开源免费的,用在数据存储和数据检索,是一个文件存储系统Logstash:JRuby语言实现的,开源免费的,用在数据采集、数据传输,类似于flume,是一个数据采集工具Kibana:实现的语言:95%的JavaScript和5%Java,不开源,部分功能免费。主要用于数据结果展示,类似于Echarts#访问head管理页面htt原创 2020-05-12 17:28:28 · 131 阅读 · 1 评论 -
flume总结
单个agentagent复合使用图常用channel介绍Sink拦截器选择器可靠性负载均衡和故障转移原创 2019-04-10 20:31:56 · 156 阅读 · 0 评论 -
数仓
https://www.jianshu.com/p/1b55da9b0344转载 2019-03-26 14:51:13 · 180 阅读 · 0 评论