大数据相关
文章平均质量分 89
MakaloLi
这个作者很懒,什么都没留下…
展开
-
【ElasticSearch】插件及自定义插件加载
目录插件及自定义插件加载初始化PluginServicefindBundlesloadBundle总结插件及自定义插件加载初始化PluginService初始化节点的时候会初始化PluginService:this.pluginsService = new PluginsService(tmpSettings, environment.configFile(), environment.modulesFile(), environment.pluginsFile(), classpathPlugin原创 2021-01-04 11:00:04 · 712 阅读 · 0 评论 -
【ElasticSearch】service启动流程
目录Es启动流程mainexecuteinitEs启动流程main启动方法是org.elasticsearch.bootstrap.Elasticsearch.main,代码如下:public static void main(final String[] args) throws Exception { // we want the JVM to think there is a security manager installed so that if internal poli原创 2021-01-04 10:51:35 · 512 阅读 · 0 评论 -
【Clickhouse】源码架构
源码版本:V20.1这篇文章主要是从整体上看一下整个项目包含哪些主要模块,明确每个模块的作用,为后续针对性的深挖打个基础。Access:权限控制AggregateFunctions & Functions & TableFunctions:聚合函数、普通函数、表函数的定义Client & Server: 客户端和服务端Columns:内存中保存数据列Common:Compression:数据压缩Core:核心模块,包括Block、Field、Co.原创 2020-11-03 13:51:28 · 998 阅读 · 1 评论 -
【Clickhouse】clickhouse nested tuple调研
1. nested:写入数据时可以写入和nested结构相同的json格式数据,如:CREATE TABLE json_each_row_nested (n Nested (s String, i Int32) ) ENGINE = Memory;INSERT INTO json_each_row_nested FORMAT JSONEachRow {"n.s": ["abc", "def"], "n.i": [1, 23]};nested中的字段数据类型不能动态变化。nested结原创 2020-05-20 16:54:24 · 5435 阅读 · 0 评论 -
【Clickhouse】集群部署
工具:Ubuntu20.4LTS虚拟机*4,Clickhouse20.31. 搭建集群。首先看一下几台虚拟机之间能否ping通:$ ping ubuntu2ping: ubuntu2: Temporary failure in name resolution$ ping 192.168.154.129PING 192.168.154.129 (192.168.154.129) 56(84) bytes of data.64 bytes from 192.168.154.129: .原创 2020-05-13 18:18:33 · 287 阅读 · 0 评论 -
【Clickhouse】单机数据导入
工具:VMWare15 Pro,Ubuntu20.4LTS,Clickhouse20.3.81. 导入数据。这里用的是官方提供的数据集Yandex.Metrica原创 2020-05-13 14:34:19 · 2296 阅读 · 0 评论 -
【Clickhouse】单机部署
工具:VMWare15 Pro,Ubuntu20.4LTS,ClickHouse1.sudo apt-get install apt-transport-https ca-certificates dirmngr报错:E: Could not get lock /var/lib/dpkg/lock-frontend. It is held by process 5472 (aptd)N: Be aware that removing the lock file is not a sol.原创 2020-05-11 16:56:54 · 3203 阅读 · 0 评论 -
HBase和Cassandra
HBaseBigtable(?)基于Hadoop HDFS一致性、容错性CassandraBigtable+Dynamo(?)一致性哈希,数据通过哈希决定存放在哪一台服务器3. BigTable+Dynamo4. 高可用、容错性...原创 2020-03-31 23:49:49 · 217 阅读 · 0 评论