weixin_63880640的博客

原创 Spark Streaming + Kafka构建实时数据流

因为在这个例子中，数据是实时流式处理的，而不是一次处理一个批次的静态数据。流式数据的实时特性意味着数据不断更新，因此很难保持缓存的数据与最新的数据的一致性。所以在流处理中，更有效的性能优化方法是使用更高效的算法，并通过对流数据的精细控制来调整计算中的批大小和触发机制，而不是简单地使用缓存方法。这个是老师根据某个比赛修改了赛题给大伙布置的任务，数据在上面方式可见，想着用java写实在是太麻烦了，改用了spark读取并模拟数据的实时性上传到Kafka，然后用sparkStreaming接收并处理数据。