大数据
文章平均质量分 58
cong_han
这个作者很懒,什么都没留下…
展开
-
解决NullPointerException at org.apache.hive.hcatalog.data.schema.HCatSchema.get问题
在使用hive sqoop import过程中遇到NullPointerExcetption at org.apache.hive.hcatalog.data.schema.HCatSchema.get 这大概率是导入hive的目标表结构与同步的column选项不匹配造成的。原创 2024-05-08 02:10:38 · 475 阅读 · 0 评论 -
KafkaLog4jAppender
为你需要的 Log4j 版本。同样,你可能需要调整 Kafka 的版本以匹配你的需求。概念,它负责将日志信息输出到各种目的地,例如控制台、文件、数据库等。的一个扩展,它可以将日志信息发送到 Apache Kafka。2. 接下来,你需要配置 Log4j。的文件,并将其放在项目的类路径下(例如。原创 2023-12-25 23:59:34 · 1718 阅读 · 0 评论 -
Spark Streaming发布到Yarn
YARN采用了主从(Master-Slave)架构,其中ResourceManager(RM)作为主节点,负责整个集群的资源管理和调度,而NodeManager(NM)作为从节点,负责管理每个节点的资源。各位小伙伴周末好,之前写了文章介绍了怎么启动一个简单的Spark Streaming,此文开始介绍Yarn的原理,后续将一步步介绍Spark Streaming与Spring Karfka的项目整合。高性能和容错性:YARN具有高效的资源调度算法和容错机制,可以优化资源利用率和提高系统的整体性能。原创 2023-11-11 00:00:00 · 258 阅读 · 0 评论 -
关于Spark Streaming的使用
在使用Kafka和Spark Streaming之前,需要确保已经安装了Java、Scala和相应的依赖库。在上面的代码中,我们创建了一个Spark Streaming应用程序,并使用KafkaUtils.createDirectStream方法来消费Kafka中的数据。其中,我们指定了Kafka的地址、主题、消费者。在上面的代码中,我们创建了一个Kafka生产者,并向名为“test”的主题中写入了100条数据。在使用Kafka和Spark Streaming的过程中,需要考虑到复杂的逻辑和数据处理流程。原创 2023-05-31 01:50:27 · 137 阅读 · 0 评论 -
从Paxos到zookeeper
为了保证原子性 Ci将记录加入日志中,发送原创 2019-11-28 23:52:12 · 140 阅读 · 0 评论