大数据
文章平均质量分 66
大数据工具的使用、以及相关知识总结
欧阳小伙
这个作者很懒,什么都没留下…
展开
-
es大量数据读取,超过1w条的那种,该如何操作????这里就是方法(python)
使用脚本读取大批量es数据原创 2024-02-21 14:46:08 · 538 阅读 · 0 评论 -
windows上安装wsl(windows的linux子系统)
windows的linux子系统安装原创 2023-10-26 12:50:08 · 165 阅读 · 0 评论 -
安装spark并配置高可用
上一篇文章讲了如何安装hadoop,这里将spark的详细安装步骤记录在这里。其中实现了spark的高可用配置,即将zookeeper配置到spark集群中。对于资源管理也配置了yarn模。并开启了spark-sql的配置,可以通过jdbc链接spark。原创 2023-10-09 11:55:32 · 281 阅读 · 0 评论 -
安装hadoop,并配置hue
对于大数据学习的初始阶段,我也曾尝试搭建相应的集群环境。这里手把手教你搭建hadoop环境。原创 2023-10-09 11:33:34 · 266 阅读 · 0 评论 -
Flink入门案例(scala)
Flink入门案例(scala):自定义随机数数据源,然后不断的读取随机数。原创 2021-04-02 19:29:26 · 177 阅读 · 0 评论 -
flink读取kafka数据存储iceberg
使用flink实时的读取kafka的数据,并且实时的存储到iceberg中。原创 2023-08-08 20:01:36 · 913 阅读 · 0 评论 -
Spark读取文件性能优化
避免spark自行推断数据类型,可以很大程度提高spark读取数据速度。原创 2022-09-16 14:41:46 · 1600 阅读 · 0 评论 -
scala之json数据解析
scala处理json原创 2022-07-08 20:35:31 · 2674 阅读 · 1 评论