![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 54
怪只怪满眼尽是人间烟火
尚未佩妥剑 转眼已江湖
展开
-
十亿数据量 判断元素是否存在
核心是采用:bitMap假设一个场景,要存0-7之内的数字[3,5,6,1,2],尽量的节省空间。传统思路就是单纯使用集合存储:使用redis的set集合存储,但若是数据量放大到十亿级别,集合的所占用的内存会很是大。并且,redis单个实例最大为2.5亿。另外一种思路是使用BitMap:表示[3,5,7,1,2],咱们能够用8bit的空间来存储,每一个数字都在对应的位置中以1的方式表示这样,相当于每一位只存储了一个字符,只需要知道该下标是否为1,即可。这里是不是就会发现,存储的数据必须为正整数,才可以使用原创 2022-06-10 11:42:42 · 512 阅读 · 0 评论 -
apache Doris linux单机安装部署
环境准备CPU:2C(最低)8C(推荐) 内存:4G(最低)48G(推荐) 硬盘:100G(最低)400G(推荐) 平台:MacOS(Intel)、LinuxOS、Windows虚拟机 系统:CentOS(7.1及以上)、Ubuntu(16.04及以上) 软件:JDK(1.8及以上)、GCC(4.8.2及以上)独立部署1.设置系统中打开文件句柄的最大数量vim /etc/security/limits.conf * soft nofile 65536* hard n..原创 2022-05-25 10:24:08 · 2349 阅读 · 7 评论 -
ClickHouse设置用户名密码
官方不建议直接写明文密码,可以用以下命令生成密码PASSWORD=$(base64 < /dev/urandom | head -c8); echo "$PASSWORD"; echo -n "$PASSWORD" | sha256sum | tr -d '-'停止clickhouseservice clickhouse-server stop启动clickhouseservice clickhouse-server start...原创 2022-03-28 14:49:16 · 1649 阅读 · 0 评论 -
ClickHouse分布式集群部署
前提:首先每个集群上搭建zookeeper集群。然后每个集群上都部署ClickHouse集群部署:每个集群上都新建一个文件:/etc/metrika.xmltouch /etc/metrika.xml<?xml version="1.0" encoding="utf-8"?><yandex> <clickhouse_remote_servers> <perftest_3shards_1replicas>原创 2022-03-28 14:43:47 · 1829 阅读 · 0 评论 -
Spring Boot集成Debezium监控数据库变化
看这篇文章之前,建议先看这篇文章,主要是采用数据的binlog进行监听mysql实时监听canal+kafka_怪只怪满眼尽是人间烟火-CSDN博客1.首先安装mysql2.然后安装kafka然后安装kafkahttps://qushen.blog.csdn.net/article/details/1226820003.安装并配置canalcanal.deployer-1.1.5.tar.gzhttps://github.com/alibaba/canal/releases/downl...原创 2022-02-24 11:58:06 · 3558 阅读 · 4 评论 -
Flink-CDC读取数据库binlog
<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.12.0</version> </dependency> <dependency> <groupId>org.apache.flink.原创 2022-02-21 13:53:07 · 1740 阅读 · 0 评论 -
Apache seaTunnel的本地启动
准备spark环境:https://qushen.blog.csdn.net/article/details/122997521下载 seatunnel:wget https://github.com/InterestingLab/seatunnel/releases/download/v1.5.7/seatunnel-1.5.7.zip -O seatunnel-1.5.7.zip解压,并采用软连接重命名:unzip seatunnel-1.5.7.zipln -s seatu原创 2022-02-18 10:57:01 · 2417 阅读 · 0 评论 -
CentOS安装ClickHouse
安装前准备:1.取消打开文件数限制:修改打开文件限制,修改修改两个文件,分别是: vi /etc/security/limits.confvim /etc/security/limits.d/20-nproc.conf在上面两个文件末尾都添加:* soft nofile 1024000* hard nofile 1024000* soft nproc 1024000* hard nproc 10240002.关闭selinux:sudo vim /etc/s原创 2021-09-05 22:49:54 · 336 阅读 · 0 评论 -
Centos修改文件打开数限制
查看打开文件数:ulimit -n修改打开文件限制,修改修改两个文件,分别是: vi /etc/security/limits.confvim /etc/security/limits.d/20-nproc.conf在上面两个文件末尾都添加:* soft nofile 1024000* hard nofile 1024000* soft nproc 1024000* hard nproc 1024000...原创 2021-09-05 22:11:06 · 679 阅读 · 0 评论 -
Hadoop四大组件
common、HDFS、MapReduce、YARNcommon:HDFS:(Hadoop Distributed File System):分布式文件系统。 a.文件系统:文件管理+block块管理。 b.分布式:多个服务器存储。 c.三大组件 &...原创 2021-06-21 10:17:59 · 614 阅读 · 1 评论 -
mysql的表分区
1.RANGEalter table `cdb_test` partition by range (id) ( partition `p0` values less than (2), partition `p1` values less than (4), partition `p2` values less than (maxvalue))2.List原创 2020-07-16 20:59:45 · 878 阅读 · 0 评论 -
大数据的学习路线
大数据的本质: 数据的储存。 数据的计算。学习路线:(1)java基础和linux基础。(2)hadoop的学习:体系结构、原理、变成。 第一阶段:HDFS(储存)、MapReduce(计算)、HBase(NoSQL数据库)。 ...原创 2020-04-13 12:13:31 · 134 阅读 · 0 评论