自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

IBoyMan

行万里路 读万卷书 编万千代码

  • 博客(4)
  • 收藏
  • 关注

原创 intellij的安装、intellij搭建scala环境

一:下载intellij可执行文件,本文用的是ideaIU-2016.3.exe二:双击exe文件开始安装,具体一系列操作如下图    1:        2:    3:4:5:6:去插件依照项目酌情考虑7:8:9:然后选择自己安装jdk的路径,最后就ok啦...

2018-04-28 13:36:07 371

原创 linux学习笔记

www.kernel.org:linux官网www.netcraft.com 看某一网站后台的服务器是什么操作系统。   在命令提示符下(shell)输入的内容对系统来说都是命令,系统会默认去环境变量PATH中找此命令所在的路径下的程序(文件),如果PATH没有给出路径会报“command not found”错,解决办法:1、在PATH中添加此路径 2:用全路径执行命令linux的命令: 内置命...

2018-04-18 21:13:33 287

原创 Mapreduce(MR)设置多个job的任务运行

          MapReduce多个job任务其本质原理就是job2任务依赖job1任务的返回结果即job1的输出路径是job2的输入路径。job2任务的启动依赖job1任务结束所返回的状态。        依据自己的实际经验:多个job的串行或并行触发,我认为还是分开写几个程序,用脚本控制其执行顺序,这样便于程序的调试,管理。           当然,选择使用那种情况也是依赖项目的需求而...

2018-04-14 11:25:13 3919 8

原创 MapReduce(MR)框架里shuffer过程中Partition的使用

Partitioner类:主要在Shuffle过程中按照Key值将中间结果分成R份,其中每份都有一个Reduce去负责。使用的时候可以通过job.setPartitionerClass()方法进行设置,实现getPartition函数,默认的使用hashPartitioner类。举一个简单的例子:在Hdfs文件系统下有这样一个txt,txt的数据如下:红色方框是时间戳时间戳的日期是从8月20到9月...

2018-04-12 13:47:20 618

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除