- 博客(8)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 linux环境下nohup的执行jar包
java -jar XXX.jar &命令结尾没有 “&” ，则变成 “java -jar XXX.jar ” ，表示在当前ssh窗口，可按CTRL + C打断程序运行，或者直接关闭窗口，则程序直接退出 命令结尾添加 “&” ，则变成 “java -jar XXX.jar &” ，表示在当窗口关闭时，程序才会中止运行。&代表让该命令在后台执行。n...
2019-05-27 18:13:48
3148
原创 MapReduce编程中FileSystem接口——HDFS的基本使用
基本的HDFS操作，在linux总通过hadoop fs -help可以获取所有的命令详细帮助文件。Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。Hadoop类库中最终面...
2019-05-24 15:41:31
862
原创 MapReduce中的job类（创建资源环境 & 初始化job属性）和main方法
对于MR程序一般会extends和implements如下public class XXX extends Configured implements Tool {实现接口Tool的run方法，就是job类public interface Tool extends Configurable { int run(String[] var1) throws Exception;...
2019-05-23 21:46:20
2741
原创 MapReduce中控制输出文件命名 & 单个reducer写出多个输出文件——MutipleOutputs
在MR job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径进行设置。在输出目录中，框架自己会自动对输出文件进行组织和命名：一般情况下，Hadoop中每个Reducer对一个相同key的value做归并后，产生一个输出文件，并且文件以part-r-00000，part-r-00001的方式命名；但是如果需要人为控制Reducer端输出...
2019-05-23 21:14:30
1414
原创 Kettle中作业执行器 & 转换执行器的命令行使用说明
1.Kitchen——作业执行器kitchen.sh，是一个作业执行引擎，用来执行作业。这是一个命令行执行工具， 参数说明如下1) -rep:Repositoryname 任务包所在存储名2) -user:Repositoryusername 执行人3) -pass:Repositorypassword 执行人密码4) -job:Thenameofthejobtolaunc...
2019-05-22 16:19:38
1508
原创 String的split（String regex，int limit）方法
使用String.split（String regex，int limit）按照指定的分隔符regex，分隔字符串String；分隔结果为String[ ]格式limit的用法如下：limit 参数通过控制分割次数从而影响分割结果如果传入 n(n>0) 那么字符串最多被分割 n-1 次,分割得到数组长度最大是 n如果 n = -1 将会以最大分割次数分割如果 n = 0...
2019-05-15 19:50:39
4674
原创 MapReduce编程——输入类FileInputFormat（切片）及其4个实现类（kv）的用法
一个完整的MapReduce程序包括四个阶段：Map Task阶段、Shuffle阶段、Reduce Task阶段InputFormat是一个抽象类，用于获取Input输入数据，并将其切分和打成<k,v>键值对；这个类中有两个抽象方法，源码如下：public abstract class InputFormat<K, V> { public Input...
2019-05-15 16:22:16
1887
1
原创 Hive中各种join的两表关联测试
本篇博文主要是针对Hive中join的部分，自己跑2张demo表，直观查看一下各种join的查询结果，便于理解。目录1. join 和 inner join2. left join 和 left outer join2.2. left outer join ... where XX is null3. right join 和 right outer join3.2 rig...
2019-05-08 18:53:03
6241
1
1ARCGIS工具条-启动窗口及主界面的构成
2020-11-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人