自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(27)
  • 资源 (1)
  • 问答 (2)
  • 收藏
  • 关注

原创 《深入理解Spark》之map_mapPartitions_mapPartitionsWithIndex

 XML Code  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 3...

2017-12-20 23:47:16 679

原创 《深入理解Spark》之FlatMap和Glom和randomSplit

 XML Code  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 3...

2017-12-20 22:55:46 502

原创 DB2错误码

前几天一直在DB2上做一些业务,经常用到DB2的错误码在这里也记录一下这篇博客的内容是从别人的博客上拷贝的,源博客地址:http://xiaozpjava.iteye.com/blog/13413971234567891011121314151617181920212

2017-12-18 14:51:40 2014

原创 《深入理解Spark》之spark特点

1、A list of partition(具体的概念:某个节点上连续的数据)partition的列表一个RDD是由多个partition组成的这些partition可以在多台服务器上2、A function for computing each split一般来说一个partition对应一个split每个函数可以被应用到split3、A list of dependence on...

2017-12-16 19:31:37 373

原创 《深入理解Spark》之spark初体验-wordCount

 XML Code  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 3...

2017-12-15 14:21:10 189

原创 《scala函数式编程》数据结构之元组

 XML Code  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26   package com.lyzx.day06/*...

2017-12-12 08:57:53 228

原创 《scala函数式编程》数据结构之Set和Map

 XML Code   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 ...

2017-12-12 08:56:56 344

原创 《scala函数式编程》数据结构之List列表

 XML Code   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 ...

2017-12-12 08:48:37 611

原创 《scala函数式编程》数据结构之数组

 XML Code   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 ...

2017-12-12 08:46:56 223

原创 《scala函数式编程》伴生类与伴生对象

 XML Code  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 3...

2017-12-12 08:43:41 490

原创 《scala函数式编程》第二章之函数(2)

 XML Code  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 3...

2017-12-08 16:23:52 249

原创 《scala函数式编程》第二章之函数(1)

 XML Code  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 3...

2017-12-08 15:42:18 177

原创 《scala函数式编程》之java程序员学习scala前必看的技术文档(3)

这篇文章是参考其他博客,并加了一些自己的理解和注释源博客地址:https://www.iteblog.com/archives/1325.htmlscala中Trait基本介绍 XML Code  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17...

2017-12-08 11:51:07 172

原创 《scala函数式编程》之java程序员学习scala前必看的技术文档(2)

这篇文章是参考其他博客,并加了一些自己的理解和注释源博客地址:https://www.iteblog.com/archives/1325.html XML Code  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20...

2017-12-06 11:09:23 267

原创 《scala函数式编程》之java程序员学习scala前必看的技术文档(1)

这篇文章是参考其他博客,并加了一些自己的理解和注释源博客地址:https://www.iteblog.com/archives/1325.html XML Code  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20...

2017-12-06 11:07:03 247

原创 java8之Stream数据流介绍(3)

XML Code 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748

2017-12-05 14:59:22 213

原创 java8之Stream数据流介绍(2)

XML Code 1234567891011121314151617181920212223242526272829303132333435363738394041package com.ly

2017-12-05 14:58:33 126

原创 java8之数据流Stream的Map和flatMap的区别

XML Code 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748

2017-12-05 14:57:38 4157

原创 java8之Stream数据流介绍(1)

XML Code 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748

2017-12-05 14:56:06 245

原创 java8之方法引用

XML Code 12345678910111213141516171819202122232425262728293031323334353637package com.lyzx.day02;imp

2017-12-05 14:54:29 160

原创 java8之lanbda表达式介绍

XML Code 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748

2017-12-05 14:53:29 982

原创 java定时任务之Timer实现多线程任务

XML Code 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748

2017-12-04 15:59:48 1877

原创 淘宝面试题之CountDownLatch应用

XML Code 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748

2017-12-04 15:56:05 566

原创 优先级队列PriorityQueue介绍

XML Code 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748

2017-12-04 15:54:28 217

原创 DelayQueue的用法介绍

XML Code 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748

2017-12-04 15:15:18 1346

原创 java定时器之Timer问题汇总

直接看代码,有详细的注释 XML Code 123456789101112131415161718192021222324252627282930313233343536373839404142434

2017-12-04 13:51:08 1332

原创 关于CyclicBarrier用法介绍

XML Code 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748

2017-12-01 16:33:44 276

parquet文件测试

String[] access_log = { "111111", "22222", "33333", "44444", "55555", "666666", "777777", "888888", "999999", "101010" }; for(int i=0;i<1000;i++){ writer.write(groupFactory.newGroup() .append("log_id", Long.parseLong(access_log[0])) .append("idc_id", access_log[1]) .append("house_id", Long.parseLong(access_log[2])) .append("src_ip_long", Long.parseLong(access_log[3]))

2023-03-02

一份PPT看懂spark

适合初学者学习spark大数据技术,大公司内部技术分享时使用的PPT

2018-05-23

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除