idea运行spark的wordcount与eclipse运行spark的wordcount示例，及本地运行sparkpi

一、idea运行wordcount

1、下载idea的社区版本（免费的）

http://www.jetbrains.com/idea/download/

2、安装scala插件

File-->Settings...----->Plugins

点击红色按钮，在搜索scala点击右面的初始化按钮安装scala插件

3、创建scala项目

File--->New Project....----->scala

选择好对应的SDK，完成创建

4、创建包类结构如下

/**
 * 统计字符出现次数
 */
object WordCount {
  def main(args: Array[String]) {
    if (args.length < 2) {
      System.err.println("Usage: <file>")
      System.exit(1)
    }

    val conf = new SparkConf()
    val sc = new SparkContext(conf)
    val line = sc.textFile(args(0))
    //输出到文件
    line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).saveAsTextFile(args(1))
    //输出到屏幕
    line.flatMap(_.split(" ")).map((_, 1)).r