bigdata
文章平均质量分 74
你要找的程序猿
数据猿,在搞AI。
展开
-
Flink
***无界流:****有一个开始但是没有结束,不会在生成时终止并提供数据,必须连续处理无界流,也就是说必须在获取后立即处理event。对于无界数据流我们无法等待所有数据都到达,因为输入是无界的,并且在任何时间点都不会完成。处理无界数据流通常要求以特定顺序(例如事件发生的顺序)获取event,以便能够推断结果完整性。****有界数据流:****有界数据流有明确定义的开始和结束,可以在执行任何计算之前通过获取所有数据来处理有界流,处理有界流不需要有序获取,因为可以始终对有界。原创 2024-05-30 15:59:08 · 504 阅读 · 0 评论 -
关于hadoop集群出现datanode只显示一个并且动不动dead的问题。同时存在使用率动不动爆满问题。
hadoop集群通过web管理界面只显示一个节点,datanode只启动一个。问题解决!!!原创 2023-11-22 10:58:56 · 710 阅读 · 0 评论 -
大数据集群-基础命令
hive状态前=下前辈环境。原创 2023-10-12 14:05:46 · 52 阅读 · 0 评论 -
spark知识基础
Spark解决什么问题?海量数据的计算,可以进行离线批处理以及实时流计算Spark有哪些模块?核心SparkCore、SQLf算(SparkSQL) 、流计算(SparkStreaming)、图计算(GraphX)、机器学习(MLlib)Spark特点有哪些?速度快、使用简单、通用性强、多种模式运行。原创 2023-09-27 11:18:30 · 65 阅读 · 1 评论