- 博客(9)
- 资源 (2)
- 收藏
- 关注
原创 ClickHouse入门(一)
CLICKHOUSE一.从OLAP说起OLAP(Online analytical processing),即联机分析处理,主要用于支持企业决策管理分析。数据库概念最初源于1962年Kenneth Iverson发表的名为“A Programming Language” (APL)的著作,它第一次提出了处理操作和多维变量的的数学表达式,后来APL语言由IBM实现。OLAP即从不懂得纬度审视数据OLAP核心概念1) 维维(Dimension):人们观察事物的视角,如时间、地理位置、年龄和性别等,是
2021-06-03 11:01:50
484
原创 sparksql踩坑
这里写自定义目录标题今天使用sparksql时遇到如下问题It is possible the underlying files have been updated. You can explicitly invalidate the cache in Spark by running 'REFRESH TABLE tableName查阅了网上资料说是由于sparkSession封装在actor中,每个actor都有自己独占的sparkSession,有些sql是保存数据到hive和hdfs上,但
2021-05-11 17:46:16
2305
2
转载 zookeeper leader选举机制
1. 服务器启动时期的Leader选举若进行Leader选举,则至少需要两台机器,这里选取3台机器组成的服务器集群为例。在集群初始化阶段,当有一台服务器Server1启动时,其单独无法进行和完成Leader选举,当第二台服务器Server2启动时,此时两台机器可以相互通信,每台机器都试图找到Leader,于是进入Leader选举过程。选举过程如下(1) 每个Server发出一个投票。由于是初始情况,Server1和Server2都会将自己作为Leader服务器来进行投票,每次投票会包含所推举的服务器的m
2020-10-29 20:59:02
146
原创 airflow部署常见问题
1.运行airflow scheduler时出现错误日志出现:File "/usr/local/lib/python3.6/site-packages/airflow/settings.py", line 333, in configure_adapters MySQLdb.converters.conversions[Pendulum] = MySQLdb.converters.DateTime2literalAttributeError: module 'pymysql.converter
2020-10-28 16:57:42
557
原创 (数组)
数组的内存图解3三个引用两个数组三个引用,有两个数组的引用指向同一个地址int[] a=new int[5];int[] b= a;a[0]=5;b[0]=10;System.out.println(a[0]);输出结果a[0]=10因为覆盖了之前的赋值(二维数组练习1遍历)* 需求:二维数组遍历* 外循环控制的是二维数组的长度,其实就是一维数组的个数。* 内循环控制的是一维数组的长度。 int[][] arr = {{1,
2020-07-09 23:09:21
78
原创 类型转化
#数据类型转换之隐式转换A:案例演示a:int + intb:byte + intB:Java中的默认转换规则取值范围小的数据类型与取值范围大的数据类型进行运算,会先将小的数据类型提升为大的,再运算A:强制转换问题int a = 10;byte b = 20;b = a + b;B:强制转换的格式b = (byte)(a + b);C:强制转换的注意事项如果超出了被赋值的数据类型的取值范围得到的结果会与你期望的结果不同A:案例演示面试题:看下面的程序是否有问
2020-07-09 23:09:00
85
原创 使用YCSB测试Hbase与Mysql数据库性能
YCSB测试Hbase和MySQL性能一.YCSB介绍YCSB(Yahoo! Cloud Serving Benchmark)是雅虎开源的用于测试新式数据库(主要为 NoSQL)性能的框架,使用 Java 实现,可以测试 HBase、Cassandra、Infinispan、MongoDB 、JDBC等等。YCSB 包括两个部分:YCSB 客户端,一个可以扩展的 workload 生成器Core workloads,预先配置好的 workloads二.YCSB使用1.下载ycsbYCSB
2020-07-09 23:06:59
1101
分布式数据库 性能测试.doc
2020-07-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人