- 博客(4)
- 收藏
- 关注
RSS订阅原创 Java 细节记录
1:System.nanoTime():遇到这个函数是在spark的官方实例scala代码中的,虽然能猜到是关于时间的方法,但是并不知道详情,查了后才知道这个函数和System.currentTimeMillis()方法是差不多的,都是返回现在时间,用途也是差不多,都是计算某个时间段的时间,不同的是,nanoTime更加精确一些,它的精度达到纳秒,而currentTimeMillis的精度只是毫秒...
2018-05-30 17:19:42
250
原创 关于Maven打包的一个坑点------本地改变代码但是jar包代码没有改变
今天在用maven进行打包时,发现当我将代码上传服务器运行时,发现输出文件的文件地址已经存在,所以报了错,这是个无关痛痒的bug,我修改了输出地址后又重新打包上传,但是发现报的还是那个错误,在上传的代码中并没有修改我在本地改过的,这就令我十分奇怪,前前后后上传了很多次,发现还是不行,就开始想为什么会这样,最后终于想到了,原来因为我在修改地址后并没有运行程序,程序并没有发生编译,在我看来是m...
2018-05-28 21:21:02
4396
原创 Spark学习过程笔记
1:flatMap():这个方法类似与map,相当于使用两次map,例如:flatMap(line=>line.split(" "))其实就相当于使用了两次map(line=>line.split(" ")),在词频统计中,可以直接文本分解成单词,而不是单词的列表.2:mapPartitions():也是类似map的一个方法,不过map是对rdd中的每一个元素进行一个链接,而mapPa...
2018-05-27 21:16:08
174
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人