大数据开发之词频统计传参打包成jar包发送到Hadoop运行并创建可执行文件方便运行_hadoopjava项目打包jar(1)

• 发送到Hadoop运行
• 使用脚本运行
• 参考

添加spark的jar包

点击Project Structure

Global Libararies中
点击+
选择java
然后选择spark文件里的jars下所有的jar包

然后点击ok即可。

main传参调试

首先给出词频统计代码

//包
import org.apache.spark.{SparkContext, SparkConf}
object testMainInput {
  def main(args: Array[String]): Unit = {
    if(args.length < 2){println(args.length);println("Please input 2 args, return"); return}
    val conf = new Sp