一、Hadoop作业提交
hadoop jar /user/fenghui/job.jar job.mapreduce.extractLog
hdfs://master:9000/user/printLog/error
hdfs://master:9000/user/extractLog/error
hdfs://master:9000/user/param/error.txt
job.jar:提交的任务job.mapreduce.extractLog:job中的主函数hdfs: 三个为输入参数
二、Spark作业提交
./spark-submit --master yarn --deploy-mode cluster --class dsp_data_script.spark.main job.jar arguments
--class: 应用程序(application)入口
--master: 集群中master节点的URL(e.g. spark://23.195.26.187:7077)
--deploy-mode: 是否将driver部署到worker节点(cluster模式)或者将driver作为一个外部的client(client模式)
job.jar:打包的包含相关依赖的jar文件的路径
arguments:传送给应用程序main函数的参数
三、Storm任务提交
./storm jar job.jar cn.sysu.metric.job.Test 192.168.11.91
job.jar:提交的jar包
cn.sysu.metric.job.Test:执行的主类192.168.11.91: nimbus的ip地址
四、提交Java任务
java -jar demo.jar > log.log &
jar架包设置成后台程序,并将输出定向为log.log