大数据开发
文章平均质量分 75
大数据
chatGPT!
这个作者很懒,什么都没留下…
展开
-
ClickHouse入门(一)
CLICKHOUSE一.从OLAP说起OLAP(Online analytical processing),即联机分析处理,主要用于支持企业决策管理分析。数据库概念最初源于1962年Kenneth Iverson发表的名为“A Programming Language” (APL)的著作,它第一次提出了处理操作和多维变量的的数学表达式,后来APL语言由IBM实现。OLAP即从不懂得纬度审视数据OLAP核心概念1) 维维(Dimension):人们观察事物的视角,如时间、地理位置、年龄和性别等,是原创 2021-06-03 11:01:50 · 512 阅读 · 0 评论 -
sparksql踩坑
这里写自定义目录标题今天使用sparksql时遇到如下问题It is possible the underlying files have been updated. You can explicitly invalidate the cache in Spark by running 'REFRESH TABLE tableName查阅了网上资料说是由于sparkSession封装在actor中,每个actor都有自己独占的sparkSession,有些sql是保存数据到hive和hdfs上,但原创 2021-05-11 17:46:16 · 2486 阅读 · 2 评论 -
zookeeper leader选举机制
1. 服务器启动时期的Leader选举若进行Leader选举,则至少需要两台机器,这里选取3台机器组成的服务器集群为例。在集群初始化阶段,当有一台服务器Server1启动时,其单独无法进行和完成Leader选举,当第二台服务器Server2启动时,此时两台机器可以相互通信,每台机器都试图找到Leader,于是进入Leader选举过程。选举过程如下(1) 每个Server发出一个投票。由于是初始情况,Server1和Server2都会将自己作为Leader服务器来进行投票,每次投票会包含所推举的服务器的m转载 2020-10-29 20:59:02 · 174 阅读 · 0 评论 -
使用YCSB测试Hbase与Mysql数据库性能
YCSB测试Hbase和MySQL性能一.YCSB介绍YCSB(Yahoo! Cloud Serving Benchmark)是雅虎开源的用于测试新式数据库(主要为 NoSQL)性能的框架,使用 Java 实现,可以测试 HBase、Cassandra、Infinispan、MongoDB 、JDBC等等。YCSB 包括两个部分:YCSB 客户端,一个可以扩展的 workload 生成器Core workloads,预先配置好的 workloads二.YCSB使用1.下载ycsbYCSB原创 2020-07-09 23:06:59 · 1163 阅读 · 0 评论 -
airflow部署常见问题
1.运行airflow scheduler时出现错误日志出现:File "/usr/local/lib/python3.6/site-packages/airflow/settings.py", line 333, in configure_adapters MySQLdb.converters.conversions[Pendulum] = MySQLdb.converters.DateTime2literalAttributeError: module 'pymysql.converter原创 2020-10-28 16:57:42 · 606 阅读 · 0 评论