hadoop
文章平均质量分 66
IT_xhf
这个作者很懒,什么都没留下…
展开
-
Flink Oracle CDC写入到HDFS
依赖包引用maven依赖包<oracle.cdc.version>2.2.0</oracle.cdc.version><hadoop.version>2.8.2</hadoop.version><avro.version>1.8.2</avro.version> <dependency> <groupId>org.apache.flink</groupId>原创 2022-04-08 09:12:24 · 2522 阅读 · 0 评论 -
通过Flink-Sql将Kafka数据写入HDFS
系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加例如:第一章 Python 机器学习入门之pandas的使用提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录前言一、创建Hive Catalog二、创建表1.创建Kafka表2.创建Hive表3. 执行同步语句总结参考资料前言近期,公司有需求将Kafka的数据写入到Hive表中,当时看到Flink有一个File Connector可以将文件写入到HDFS,所以开始了解Flink-原创 2022-04-06 15:41:57 · 4913 阅读 · 2 评论 -
java调用Hbase API 出现org.apache.hadoop.hbase.protobuf.generated.ClientProtos$Result overrides final 错误
java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hbase.client.HConnectionManager.createConnection(HConnectionManager.java:389) at org.apache.hadoop.hbase原创 2014-07-19 16:51:11 · 13520 阅读 · 10 评论 -
Hadoop管理员的十个最佳实践
前言接触Hadoop有两年的时间了,期间遇到很多的问题,既有经典的NameNode和JobTracker内存溢出故障,也有HDFS存储小文件问题,既有任务调度问题,也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷(短板),有些则是使用的不当。在解决问题的过程中,有时需要翻源码,有时会向同事、网友请教,遇到复杂问题则会通过mail list向全球各地Hadoop使用转载 2014-07-21 20:51:10 · 739 阅读 · 0 评论