大数据
文章平均质量分 91
大数据之各种组件学习记录
十点摆码
没有天赋异禀,只能厚积薄发。
展开
-
SpringBoot2 集成 ClickHouse 实现高性能数据分析
Yandex开源的数据分析的数据库,名字叫做ClickHouse,适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库,而是作为超高性能的海量数据快速查询的分布式实时处理平台,在数据汇总查询方面(如GROUP BY),ClickHouse的查询速度非常快。原创 2024-02-27 14:01:58 · 704 阅读 · 0 评论 -
ClickHouse 学习之基础入门(一)
ClickHouse是一个完全的列式数据库管理系统,允许在运行时创建表和数据库,加载数据和运行查询,而无需重新配置和重新启动服务器,支持线性扩展,简单方便,高可靠性,容错。它在大数据领域没有走 Hadoop 生态,而是采用 Local attached storage 作为存储,这样整个 IO 可能就没有 Hadoop 那一套的局限。兼容 SQL 标准语法,在大数据情况图表统计和查询非常快。原创 2023-11-03 17:22:49 · 876 阅读 · 2 评论 -
ClickHouse 学习之从高级到监控以及备份(二)
ClickHouse是一个完全的列式数据库管理系统,允许在运行时创建表和数据库,加载数据和运行查询,而无需重新配置和重新启动服务器,支持线性扩展,简单方便,高可靠性,容错。它在大数据领域没有走 Hadoop 生态,而是采用 Local attached storage 作为存储,这样整个 IO 可能就没有 Hadoop 那一套的局限。兼容 SQL 标准语法,在大数据情况图表统计和查询非常快。原创 2023-11-03 17:03:45 · 991 阅读 · 4 评论 -
浅谈大数据技术之 Flume
一Flume 概述1.1 Flume 定义Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传 输的系统。Flume 基于流式架构,灵活简单。Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到HDFS。1.2Flume 基础架构1.2.1 AgentAgent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部分组成,Source、Channel、Sink。1.2.2...原创 2021-05-22 15:25:39 · 110 阅读 · 0 评论 -
ElasticSearch学习(一)CentOS 搭建 ElasticSearch 环境
一、安装包下载下载地址:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gz二、安装Elasticsearch1、创建目录,一般情况我都安装在opt目录下# mkdir elasticsearch2、进入elasticsearch,上传刚才下载的安装包,接着解压# ......原创 2019-12-29 17:48:17 · 1815 阅读 · 0 评论 -
ElasticSearch学习(二)客户端TransportClient简单检索
1、添加依赖 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>5.5.2</vers...原创 2019-05-23 18:07:21 · 1127 阅读 · 2 评论 -
elasticsearch 查询(match和term)
elasticsearch 查询(match和term)es中的查询请求有两种方式,一种是简易版的查询,另外一种是使用JSON完整的请求体,叫做结构化查询(DSL)。由于DSL查询更为直观也更为简易,所以大都使用这种方式。DSL查询是POST过去一个json,由于post的请求是json格式的,所以存在很多灵活性,也有很多形式。这里有一个地方注意的是官方文档里面给的例子的json结转载 2017-09-01 15:31:54 · 355 阅读 · 0 评论 -
ElasticSearch Java api 详解_V1.0
Java 操作ES实例解析集群的连接作为Elasticsearch节点实例化一个节点的客户端是获得客户端的最简单的方式。这个Client可以执行elasticsearch相关的操作。import static org.elasticsearch.node.NodeBuilder.*;// on startupNode node = nodeBuilder().no转载 2017-09-01 15:25:20 · 384 阅读 · 0 评论 -
Elasticsearch Centos7 安装
Elasticsearch 安装前提是要先安装Java运行环境;在此不累赘了。。。curl -O https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.5.1.tar.gztar zxvf elasticsearch-1.5.1.tar.gzcd elasticsearch-1.5.转载 2017-09-01 15:06:44 · 264 阅读 · 0 评论