![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据技术
文章平均质量分 82
总结自己这些年的工作,也练练自己的文笔。内容有工作笔记,有完整文档,都是干货,与君共勉。
优惠券已抵扣
余额抵扣
还需支付
¥99.90
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
留梦言
道虽迩,不行不至;事虽小,不为不成。
展开
-
Hive查询基础语法
hive查询语法原创 2024-01-06 22:12:47 · 871 阅读 · 0 评论 -
hive使用技巧及调优心得
1、在比较bigint和string的时候显示的指定两者的类型,除了注意数据类型能否转换以外,还需要关注两点,原创 2024-01-03 20:37:33 · 920 阅读 · 0 评论 -
ETL和ETL优缺点以及未来趋势
etl elt原创 2023-12-20 13:50:58 · 1033 阅读 · 0 评论 -
Chat2DB——AI驱动的数据库管理系统
chat2db原创 2023-12-20 10:55:30 · 869 阅读 · 0 评论 -
Mysql5.7在线安装详细步骤以及相关知识
mysql、安装、知识点原创 2023-12-19 11:18:19 · 955 阅读 · 0 评论 -
Scaleph——可视化拖拉拽构建Seatunnel任务
Scaleph项目具有数据集成,开发,作业调度和编排功能,旨在在云环境中运行。它致力于提供一站式数据平台,简化数据应用的开发。Scaleph希望帮助人们聚集和分析数据,释放数据的内在价值,并从中获利。为每一位数据开发者轻松提供Flink生态系统。Jar用户使用DataStream或Table API开发flink jar作业,并将其打包为jarSQL 用户通过SQL Gateway在SQL在线编辑器后台开发flink SQL作业,然后将其部署为SQL作业。原创 2023-12-18 20:29:06 · 939 阅读 · 0 评论 -
Seatunnel从postgresql同步到mysql
Seatunnel、pgsql、mysql、数据同步原创 2023-12-18 19:02:25 · 642 阅读 · 0 评论 -
Clickhouse Engine kafka 将kafka数据同步clickhouse
clickhouse支持kafka的表双向同步,其中提供的为Kafka引擎。其大致情况为如下情况:Kafka主题中存在对应的数据格式,Clickhouse创建一个Kafka引擎表(即相当于一个消费者),当主题有消息进入时,获取该消息,将其进行消费,然后物化视图同步插入到MergeTree表中。该引擎还支持反向写入到Kafka中,即往Kafka引擎表中插入数据,可以同步到Kafka中(同样可以使用物化视图将不同引擎需要的表数据同步插入到Kafka引擎表中)。原创 2023-12-18 15:59:20 · 1173 阅读 · 0 评论 -
快速部署 Apache SeaTunnel Web
将下载的apache-seatunnel-web-1.0.0-bin.tar.gz解压 tar -zxvf apache-seatunnel-web-1.0.0-bin.tar.gz,这样会生成一个apache-seatunnel-web-1.0.0-bin 目录。apache-seatunnel-web-1.0.0-bin/conf/application.yml文件,在文件中填写seatunnel数据库连接信息(同script/seatunnel_server_env.sh 中配置信息)原创 2023-12-18 14:51:40 · 1837 阅读 · 0 评论 -
DataSophon组件升级——flink为例
DataSophon组件升级原创 2023-12-18 14:30:52 · 492 阅读 · 0 评论 -
dolphinscheduler3.1.1安装部署与问题解决
dolphinscheduler3.1.3安装部署与问题解决原创 2023-09-18 20:57:08 · 100 阅读 · 0 评论 -
dataSophon部署、从准备环境到安装再到使用
dataSophon部署、从准备环境到安装再到使用原创 2023-09-18 20:34:12 · 248 阅读 · 0 评论 -
hdfs核心参数和压测
1)NameNode内存计算每个文件块大概占用150byte,一台服务器128G内存为例,能存储多少文件块呢?128 * 1024 * 1024 * 1024 / 150 ≈ 9.1亿2)Hadoop2.x系列,配置NameNode内存NameNode内存默认2000m,如果服务器内存4G,NameNode内存可以配置3g。在hadoop-env.sh文件中配置如下。3)Hadoop3.x系列,配置NameNode内存(1)hadoop-env.sh中描述Hadoop的内存是动态分配的。原创 2023-09-18 20:05:25 · 79 阅读 · 0 评论