Hadoop
文章平均质量分 77
班班v
努力工作,好好生活
展开
-
Flink SQL使用Catalog消费Kafka时,多个Source读取同一主题解决方案
当我们在Flink使用Catalog的时候,如何启用不同groupId的消费着消费Kafka数据呢,本文带你详细了解,Catalog 提供了元数据信息,例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。 元数据可以是临时的,例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的原创 2022-10-14 18:50:05 · 1927 阅读 · 1 评论 -
《基于Apache Flink的流处理》读书笔记
前段时间详细地阅读了这本书,作者是 Fabian Hueske&Vasiliki Kalavri,国内崔星灿翻译的,这本书非常详细、全面得介绍了Flink流处理,并且以气象数据的例子讲解其中的使用,我把其中一些比较重要的句子做了比较,并且分享给大家。原创 2022-10-11 12:21:51 · 1322 阅读 · 0 评论 -
HDFS读取文件源码分析
HDFS读文件的简要代码如下:public static void main(String[] args) throws Exception { InputStream input; OutputStream output; Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://hadoop66:8020"); FileSystem fs = FileSystem.get(conf); ou原创 2022-05-24 10:01:39 · 862 阅读 · 0 评论 -
HDFS写文件之DataNode源码分析
接上一篇文章,DataNode在写文件的时候,是通过写入各种校验码,以DFSPacket的形式写入DataNode,DataNode会进行一系列处理,我简要地画了一个图,来表示DataNode在接收客户端的时候,进行的一系列操作。如下图所示:然后来进行一系列的源码分析1.首先是Client通过new Sender.writeBlock向DataNode来发送写文件请求,DataNode内部有一个DataXceiverServer对象来处理来Scoket请求,每次接收到请求的时候,会创建一个DataXc原创 2022-05-24 09:59:20 · 275 阅读 · 0 评论 -
HDFS写文件之客户端源码分析
HDFS读写文件是一个很重要的过程,然后本篇文章主要从源码角度讲解HDFS读写文件客户端的一系列操作,为了方便大家理解,我画了一张简要的流程图,方便大家理解。一段简要的读写代码如下: public static void main(String[] args) throws Exception { String file = "/test/1111.txt"; Configuration conf = new Configuration(); conf.set("fs.defaultFS"原创 2022-05-22 21:49:16 · 254 阅读 · 0 评论 -
Hadoop源码之创建文件责任链调用
Hadoop源码之创建文件责任链调用在hdfs创建文件的时候,调用FileSystem.create的方法,FileSystem是一个抽象类,具体的实现是org.apache.hadoop.hdfs.DistributedFileSystem,在执行RPC远程调用创建文件的时候,使用了一种设计模式:责任链模式,写的代码特步有技术含量,拿出来分享一下。创建文件的时候,文件路径可能是一个链接,也可能是多个链接,相当于Windows里面的链接或者Linux的link,如下图所示:创建文件时候的Path可能是原创 2022-05-22 21:47:26 · 123 阅读 · 0 评论 -
HDFS性能测试
HDFS性能测试一、写数据性能测试二、读数据性能测试三、清除数据Hadoop集群提供一套测试读写HDFS的jar包,jar包在$HADOOP_HOME/share/hadoop/mapreduce目录下,名字为:hadoop-mapreduce-client-jobclient-2.8.5-tests.jar,后面2.8.5为Hadoop的版本号,我们分别来测试其读写,然后再把数据清除一、写数据性能测试hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/had原创 2021-12-12 14:27:49 · 1959 阅读 · 0 评论 -
Kerberos基本命令使用
最近在CDH集群配置Kerberos认证,遇到了不少问题,打算用这篇文章来总结一下Kerberos基本命令使用一、Kerberos安装配置文档二、Kerberos专有名词介绍2.1 Kerberos主体Principal介绍三、Kerberos 命令使用3.1 登陆kinit3.2查询登陆状态klist3.3退出登陆kdestroy3.4登录KDC后台 kadmin.local3.5查看用户列表 listprincs3.6修改账号密码change_password3.7创建用户addprinc3.8删除用原创 2021-12-06 20:12:32 · 1647 阅读 · 0 评论