自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 资源 (6)
  • 收藏
  • 关注

原创 写hive可识别的parquet文件

鉴于网上关于java写parquet文件的代码,hive不可识别,特意做了对应demo,有需求的可以自行拿去。public class WriteParquetFile1 { public static void main(String[] args) throws Exception { JobConf conf = new JobConf(); ...

2020-03-27 18:01:00 662 1

原创 有searchguard的es-hadoop插件安装

有searchguard的es-hadoop插件安装 1:下载安装包 wget https://artifacts.elastic.co/downloads/elasticsearch-hadoop/elasticsearch-hadoop-7.0.1.zip 2:解压安装包 把对应的elasticsearch-hadoop-7.1.1.jar放到对...

2020-03-11 14:43:30 249

原创 spark 任务调度详细概述

关于任务调度的文章,网上很多,我是本着想系统深刻理解的目的,写下这边文章任务调度:     1.Action类型的算子触发job的执行。源码中调用了SparkContext的runJob()方法,跟进源码发现底层调用的是DAGScheduler的runJob()方法。   DAGScheduler会将我们的job按照宽窄依赖划分为ResultStage和ShuffleMapStage,...

2018-10-06 21:54:57 326

原创 可以做到你想做到的一切的 java unsafe

自己由于对netty底层代码的一些拜读,还有一切里面的代码有些是借鉴github大神,自己整理出来为了以后可以用的,分享出来,大家学习学习。程序的至理名言:越是地层越是高效,上层越是抽象越是简单。所以分享下java unsafe这个类。编辑器编译不会通过的,要调一下编辑器的配置,具体我也忘啦,google在手天下我有,自己搞搞。 这个是测试类,里面只有几个内容,有点没体现unsafe的强大,自己

2016-12-21 12:20:47 526 1

原创 大数据量的文件读写 java nio的完全发挥

小弟不才,自己整理了几种高效的读写大文件的方法,有兴趣的可以看看`package com.nio; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOEx

2016-12-21 11:55:15 6630

Scala如果你在银行工作你懂得

Scala安装包

2016-11-12

linux 下最稳定的redis安装包

linux 下最稳定的redis安装包,赶快来下载

2015-07-02

HBase权威指南.pdf

HBase权威指南.pdf ,你值得拥有

2014-11-09

hive-0.13.1-bin.tar.gz

拥抱hadoop适合入门学者下载,学习hive

2014-11-09

破解mymanager for 2010

破解 mymanager for2010,快速简单

2014-04-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除