- 博客(5)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 写hive可识别的parquet文件
鉴于网上关于java写parquet文件的代码，hive不可识别，特意做了对应demo，有需求的可以自行拿去。public class WriteParquetFile1 { public static void main(String[] args) throws Exception { JobConf conf = new JobConf(); ...
2020-03-27 18:01:00
663
1
原创 有searchguard的es-hadoop插件安装
有searchguard的es-hadoop插件安装 1：下载安装包 wget https://artifacts.elastic.co/downloads/elasticsearch-hadoop/elasticsearch-hadoop-7.0.1.zip 2：解压安装包 把对应的elasticsearch-hadoop-7.1.1.jar放到对...
2020-03-11 14:43:30
249
原创 spark 任务调度详细概述
关于任务调度的文章，网上很多，我是本着想系统深刻理解的目的，写下这边文章任务调度： 1.Action类型的算子触发job的执行。源码中调用了SparkContext的runJob()方法，跟进源码发现底层调用的是DAGScheduler的runJob()方法。 DAGScheduler会将我们的job按照宽窄依赖划分为ResultStage和ShuffleMapStage，...
2018-10-06 21:54:57
326
原创 可以做到你想做到的一切的 java unsafe
自己由于对netty底层代码的一些拜读，还有一切里面的代码有些是借鉴github大神，自己整理出来为了以后可以用的，分享出来，大家学习学习。程序的至理名言：越是地层越是高效，上层越是抽象越是简单。所以分享下java unsafe这个类。编辑器编译不会通过的，要调一下编辑器的配置，具体我也忘啦，google在手天下我有，自己搞搞。 这个是测试类，里面只有几个内容，有点没体现unsafe的强大，自己
2016-12-21 12:20:47
526
1
原创 大数据量的文件读写 java nio的完全发挥
小弟不才，自己整理了几种高效的读写大文件的方法，有兴趣的可以看看`package com.nio; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOEx
2016-12-21 11:55:15
6632
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人