- 博客(5)
- 资源 (6)
- 收藏
- 关注
原创 写hive可识别的parquet文件
鉴于网上关于java写parquet文件的代码,hive不可识别,特意做了对应demo,有需求的可以自行拿去。public class WriteParquetFile1 { public static void main(String[] args) throws Exception { JobConf conf = new JobConf(); ...
2020-03-27 18:01:00
662
1
原创 有searchguard的es-hadoop插件安装
有searchguard的es-hadoop插件安装 1:下载安装包 wget https://artifacts.elastic.co/downloads/elasticsearch-hadoop/elasticsearch-hadoop-7.0.1.zip 2:解压安装包 把对应的elasticsearch-hadoop-7.1.1.jar放到对...
2020-03-11 14:43:30
249
原创 spark 任务调度详细概述
关于任务调度的文章,网上很多,我是本着想系统深刻理解的目的,写下这边文章任务调度: 1.Action类型的算子触发job的执行。源码中调用了SparkContext的runJob()方法,跟进源码发现底层调用的是DAGScheduler的runJob()方法。 DAGScheduler会将我们的job按照宽窄依赖划分为ResultStage和ShuffleMapStage,...
2018-10-06 21:54:57
326
原创 可以做到你想做到的一切的 java unsafe
自己由于对netty底层代码的一些拜读,还有一切里面的代码有些是借鉴github大神,自己整理出来为了以后可以用的,分享出来,大家学习学习。程序的至理名言:越是地层越是高效,上层越是抽象越是简单。所以分享下java unsafe这个类。编辑器编译不会通过的,要调一下编辑器的配置,具体我也忘啦,google在手天下我有,自己搞搞。 这个是测试类,里面只有几个内容,有点没体现unsafe的强大,自己
2016-12-21 12:20:47
526
1
原创 大数据量的文件读写 java nio的完全发挥
小弟不才,自己整理了几种高效的读写大文件的方法,有兴趣的可以看看`package com.nio; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOEx
2016-12-21 11:55:15
6630
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人