- 博客(22)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Clickhouse的集群安装和部署
一、安装环境本次安装使用clikchouse用户来安装,安装环境为CetOS7。其余linux也可适用(略有变动)Clickhouse的环境需求官网也有介绍:即,CH只支持Linux,且必须支持4.2 SSE指令。若是在其他环境中想要搭建CH,可以使用docker或者使用线上云服务。System requirements for pre-built packages: Linux, x86_64 with SSE 4.2.检测系统是否支持SSE4.2grep -q sse4_2 /proc/c
2021-02-26 16:52:39
811
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Clickhouse数据类型和数据表类型
一、数据类型Clickhouse数据类型可以划分为三种,分别是基础类型、复合类型和特殊类型。1. 基础类型1.1 数值类型1)Int有着无符号整数和有符号整数两种。名称大小(字节)范围普遍观念Int81-128 到 127TinyintInt162-32768 到 32767SmallintInt324-2147483648 到 2147483647IntInt648-9223372036854775808 到 9223372036
2021-02-26 15:33:50
4093
2
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Clickhouse客户端访问(CLI和JDBC)
Clikchouse底层支持HTTP和TCP两种协议。其中HTTP的端口为8123,它拥有更好的兼容性。TCP协议则拥有更好的性能,默认端口为9000。一般都是通过CLI和JDBC这两些封装接口去访问,因为它们更加简单和方便。
2021-02-07 11:54:14
2305
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Clickhouse的架构设计
最近在读《ClickHouse原理解析与应用》,把一些重点的东西整理出来分享。1、Column和FieldClickhouse中最基础的单位是Column和Field。 在Clickhouse中Column对象分为接口和实现两个部分,IColumn接口对象中,定义了对数据操作的各种关系运算的方法。 Field对象代表一个单值。 2、DateTypeDateType负责数据的序列化和反序列化工作。但是DateType不直接负责数据的读取,而是由Column或Fi...
2021-02-05 18:54:23
466
2
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Clickhouse单机安装详解
一、安装环境Clickhouse的环境需求官网也有介绍:即,CH只支持Linux,且必须支持4.2 SSE指令。若是在其他环境中想要搭建CH,可以使用docker或者使用线上云服务。System requirements for pre-built packages: Linux, x86_64 with SSE 4.2.检测系统是否支持SSE4.2grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" ||
2021-01-29 19:31:57
534
原创 Yarn基本概念
Yarn简介Yarn是Hadoop中的四大组件之一。Hadoop 的四大组件:common、HDFS、MapReduce、YARN
2021-06-16 20:29:36
2200
原创 JsonStr转为指定T对象
可以使用ali的fastjson来实现// 需要转换成对象的JsonStrString jsonStr = "{\"uid\":11,\"name\":\"张三\"}"编写对应的对象类class Person{ private long uid; private String name; public long getUid() { return uid; } public void setUid(long uid) { this.uid
2021-03-04 10:03:57
330
1
原创 Clickhouse为什么这么快?
一说到Clickhouse,大家都知道它非常快,那么CH为什么这么快,是因为使用了向量化、列式数据库还是其它。下面我们一起来探索它的奥秘。(《ClickHouse原理解析与应用实践》总结)1、硬件方面Clickhouse会在内存中进行Group By,并使用HashTable装载数据。与此同时,CH对于CPU L3级别的缓存也特别在意,因为一次L3级别缓存的失效都会带来70~100ns,积少成多。一个32G,则可能会浪费5亿次/秒的运算。也正是因为如此,CH能在基准查询中做到1.75亿次/秒的.
2021-02-05 19:31:34
1852
原创 ClickHouse简介
一、概述ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它是由俄罗斯公司Yandex于2016年6月15日开源的一个项目,简称为CH。其处理数据的速度比传统方法快 100-1000 倍。二、适应场景 数据批量导入(数据底层会异步做数据同步,少量多次的插入会比较耗资源) 少修改或者不修改当前数据(ch修改数据会重写整个partition,较为耗资源) 高时效、低频率查询(由于ch执行的时候会调用一半的CPU,追求极致的时效) ...
2021-01-26 16:47:27
666
1
原创 Clickhouse性能测试
一、数据导入性能测试 文件名称 文件大小 数据量大小 导入花费时间 表空间大小 customer.tbl 317M 300W 27s 114M lineorder.tbl 66G 6亿 1h25m16s 16.7G part.tbl 135M
2020-12-14 19:25:43
1082
原创 阿里的一次急匆匆的面试经验
第一轮面试也没有过,太难受了,面试的是JAVA开发。今天面试官可能有事,也挺赶时间的,也没有让我自我介绍便直接进入正题。第一问:MySQL数据库中两种数据引擎的区别?第二问:Mysql的索引结构是怎么样的?第三问:Exception的父类是什么,或者说它有没有父类第四问:简单介绍下Spring中的IOC和AOP第五问:Java中如何解决double和float精度不准的问题...
2020-05-06 19:09:54
364
原创 Solr高可用(shard宕机不影响查询)
1、把需要修改的配置文件从Solr下载到本地执行命令:solrctl --solr http://13.1.17.67:8093/solr--zk 13.1.17.67:2181,13.1.17.68:2181,13.1.17.69:2181,13.1.17.70:2181,13.1.17.71:2181/solr instancedir --get SOA_HBASE_JYLS /bigd...
2019-04-11 15:44:33
1052
原创 Flume跨服务器收集信息(A->B)
继上次flume实时读取数据到Oracle。https://blog.csdn.net/sileiH/article/details/830234041、搭建材料准备 jdk 1.8 flume1.8 两台服务器 2、安装好jdk1.8,然后解压flume1.8,并改名为flume放于/app/中 3、编辑配置文件。# 服务器A(192.1...
2018-10-22 20:27:33
442
原创 Flume读取本地日志传递到Oracle中
1、搭建材料准备 jdk 1.8 flume1.8 用于连接oracle数据库: ojdbc6.jar 解析JSON字符串: commons-beanutils-1.8.3.jar commons-collections-3.2.1.jar commons-lang-2.6.jar com...
2018-10-12 10:44:18
1891
原创 远程无法访问Mysql的问题
访问远程的Mysql数据库的时候,发现访问被拒绝了。 解决方案: 打开mysql控制台,输入 use mysql;show tables;2、select host from user;update user set host ='%' where user ='root'; ...
2018-10-11 20:00:47
612
原创 从前端传送一个对象(包含一个对象和一个数组)
需要传送的内容:var json = { "datavConfig": { screenHeight: 768, screenWidth: 1366, viewName: "测试", background: "canvas.png", fontColor: "#FFFFFF" },...
2018-10-11 19:57:44
6901
1
原创 Apache中组件的日志文件重建
Apache组件中日志文件太大了,重新建立的步骤(Flume组件):#查看原本文件的用户权限和组ll--rw-r--r-- 1 flume flume 585656556 Aug 30 16:04 flume-cmf-flume-AGENT-study-node1.log#删除日志文件,新建一个rm -rf flume-cmf-flume-AGENT-study-node1....
2018-08-30 16:24:07
246
原创 Redis的安装与测试
1、获取redis的安装包。https://pan.baidu.com/s/1UCEq2Hsl9kjXZhzQeW9syA密码:imdh2、软件安装、 将redis-3.2.9.tar.gz安装包拷贝到Linux服务器目录下 解压redis-3.2.9.tar.gz,执行tar xzf redis-3.2.9.tar.gz 安装redis-3.2.9.tar....
2018-08-22 09:43:49
299
原创 在准备CM和CDH的环境的时候遇到的坑
1、防火墙的操作 CentOS 6.X版本: 查看防火墙状态:service iptables status 关闭防火墙(临时):service iptables stop 关闭防火墙(永久):chkconfig iptables off 查看防火墙是否重启动自动启动:chkconfig iptables --list ...
2018-08-16 20:14:26
899
原创 java程序执行过程中动态加载Jar包
最近的系统需要添加一个新的功能,就是在不重启服务的情况下,动态加载用户上传的jar包,先来过一遍简单的jar包的动态加载。 方法一:通过配置文件读取jar包位置 方法二:把jar的位置放置于固定的位置 首先来看一下大致文件结构: 第一步,定义一个接口:public interface InterfaceAction { String ac...
2018-08-16 16:21:47
7191
1
原创 Java 泛型编程
泛型中使用通配符的两种形式: 子类型限定:<? extends xxx> 超类型限定:<? super xxx> 举个栗子,总共存在三个类: Pire<T> Employee Manager //类Manager enxtends 类Employee//存在一个方法:public static void...
2018-08-16 15:33:15
516
原创 CM和CDH安装过程中遇到的问题
1、CM和CDH在安装的时候遇到的问题: 通过Cloudera WEB界面安装Hadoop过程中,在安装Parcel步骤时,一个节点分配激活失败,报错信息显示”主机运行状况不良”,如下图所示。 解决方法:删除agent目录下面的cm_guid文件,并重启失败节点的agent服务恢复。那一台服务器的状况不良,在哪一台中执行。cd /var/lib/cloudera-scm-age...
2018-08-16 09:23:58
6009
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人