- 博客(4)
- 收藏
- 关注
RSS订阅原创 intellij的安装、intellij搭建scala环境
一：下载intellij可执行文件，本文用的是ideaIU-2016.3.exe二：双击exe文件开始安装，具体一系列操作如下图 1： 2： 3：4：5：6：去插件依照项目酌情考虑7：8：9：然后选择自己安装jdk的路径，最后就ok啦...
2018-04-28 13:36:07
371
原创 linux学习笔记
www.kernel.org:linux官网www.netcraft.com 看某一网站后台的服务器是什么操作系统。 在命令提示符下（shell）输入的内容对系统来说都是命令，系统会默认去环境变量PATH中找此命令所在的路径下的程序（文件），如果PATH没有给出路径会报“command not found”错，解决办法：1、在PATH中添加此路径 2：用全路径执行命令linux的命令： 内置命...
2018-04-18 21:13:33
287
原创 Mapreduce(MR)设置多个job的任务运行
MapReduce多个job任务其本质原理就是job2任务依赖job1任务的返回结果即job1的输出路径是job2的输入路径。job2任务的启动依赖job1任务结束所返回的状态。 依据自己的实际经验：多个job的串行或并行触发，我认为还是分开写几个程序，用脚本控制其执行顺序，这样便于程序的调试，管理。 当然，选择使用那种情况也是依赖项目的需求而...
2018-04-14 11:25:13
3920
8
原创 MapReduce(MR)框架里shuffer过程中Partition的使用
Partitioner类：主要在Shuffle过程中按照Key值将中间结果分成R份，其中每份都有一个Reduce去负责。使用的时候可以通过job.setPartitionerClass()方法进行设置，实现getPartition函数，默认的使用hashPartitioner类。举一个简单的例子：在Hdfs文件系统下有这样一个txt，txt的数据如下：红色方框是时间戳时间戳的日期是从8月20到9月...
2018-04-12 13:47:20
619
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人