Java
文章平均质量分 74
班班v
努力工作,好好生活
展开
-
《基于Apache Flink的流处理》读书笔记
前段时间详细地阅读了这本书,作者是 Fabian Hueske&Vasiliki Kalavri,国内崔星灿翻译的,这本书非常详细、全面得介绍了Flink流处理,并且以气象数据的例子讲解其中的使用,我把其中一些比较重要的句子做了比较,并且分享给大家。原创 2022-10-11 12:21:51 · 1322 阅读 · 0 评论 -
POI读取Excel表格时遇到科学计数法处理
在使用Apache的POT库读取Excel文档时候,出现了一个问题,就是,读取到的科学计数法时的值和Excel显示的不一样,网上给的做法一般都是使用NumberFormat来对字符进行格式化,但是存在一个问题,就在读取到到的科学计数法的字符串已经不是Excel文档显示的字符串了,所以即使格式化后,读取出来的字符串也是错误的,正确的做法是,把表格的Cell格式设置成字符串,然后再用字符串的方式来读取,如下代码所示:Double d = cell.getNumericCellValue();String s原创 2022-05-24 10:05:10 · 2395 阅读 · 0 评论 -
使用jsqlparser获取sql语句所有字段信息
在建表的时候,需要获取表名和字段,有两种方式,自己写正则表达式获取,或者调用现成的库,自己造轮子有点复杂,于是打算寻找有没有开源的库,找了很久后,终于找到了一个开源的jsqlparser,这个开源的库可以获取sql语句所有的信息,包括表名和字段,它的用法是Statement stmt = CCJSqlParserUtil.parse(sql),Statement是一个接口,它根据sql语句可以转化成不同的实现类,如下:不同sql语句对应的操作类型都可以被格式化成对应的实现类,如果sql语句有误的时候,C原创 2022-05-24 10:03:07 · 2940 阅读 · 0 评论 -
HDFS读取文件源码分析
HDFS读文件的简要代码如下:public static void main(String[] args) throws Exception { InputStream input; OutputStream output; Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://hadoop66:8020"); FileSystem fs = FileSystem.get(conf); ou原创 2022-05-24 10:01:39 · 862 阅读 · 0 评论 -
java -jar/-cp启动添加外部的依赖包
java -jar/-cp启动添加外部的依赖包启动java主要有两种方式,分别为:java -jar test.jar、java -cp/-classpath test.jar com.main.Test。然后分别讲一下这两种方式启动程序时,如何加载外部依赖的包。为了方便大家理解,首先说一下Java的ClassLoader。ClassLoader的具体作用就是将class文件加载到jvm虚拟机中去。我们都知道在Java中程序是运行在虚拟机中,我们平常用文本编辑器或者是IDE编写的程序都是.java格式的原创 2022-05-24 10:00:48 · 5751 阅读 · 0 评论 -
Java访问Kerberos认证的HDFS文件系统
Java访问Kerberos认证的HDFS文件系统一、项目pom依赖配置二、Java访问代码三、实现截图四、遇到错误五、总结前几天搭建了Kerberos认证的HDFS文件系统,今天打算写文章来介绍一下,用Java来访问经过Kerberos加密的HDFS文件系统,在这之前,需要在KDC生成keytab文件,然后把/etc/krb5.conf文件下载,并且放到项目中。一、项目pom依赖配置<dependency> <groupId>org.apache.hadoop</gr原创 2021-12-06 20:18:48 · 4050 阅读 · 0 评论 -
ClassLoader学习和类加载器加载Jar文件
类加载器,参考:https://blog.csdn.net/briblue/article/details/54973413本文主要的实现的功能是把一个jar文件加载到ClassLoader中原理:把Jar文件加载成URL,通过构造一个URLClassLoader,把原来的ClassLoader和Jar文件合并准备文件:helloword.jar其中内容为package master.c...原创 2018-10-05 21:24:23 · 792 阅读 · 0 评论 -
SQOOP源码分析1----ToolRunner实现Window平台向Hadoop集群提交任务
SQOOP源码系列文章是把SQOOP源码详细、简单地介绍给大家,本系列文章分为3个部分,一是ToolRunner从Window本地提交MapReduce任务到HDFS,二是Sqoop从读取配置文件到提交任务的过程分析,三是Sqoop中Map切割表数据到导入表的过程。导读:SQOOP通过生成的MapReduce向hadoop集群提交任务,然而这个过程是怎样的呢,我们通过Hadoop提供的WordC...原创 2018-10-12 16:39:56 · 312 阅读 · 0 评论 -
Flume插件开发详解--从详解插件调用到编写插件再到运行
Flume插件开发Flume的插件分为3中类型分别为Source、Channel、Sink,Source不断地产生数据往Channel中发送,Sink不断地从Channel中读取数据,这是一个完整的流程,这3中插件都是可以通过重写插件来实现的,但是我们一般只用到Source和Sink,Channel提供的功能已经可以满足我们的需求了,所以不需要重新开发。本文从插件的加载,插件的编写,再到插件的...原创 2018-10-06 15:46:04 · 2392 阅读 · 0 评论