新建两个文件,输入以下字符,用空格进行分割。
首先:
启动spark进程:start-all-spark.sh
使用:jps 进行查看进程!
进入scala界面:spark-shell
在scala输入以下代码
结果如下:
sc.textFile("/opt/bigdata/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
在输入过程中按tab键进行提示
按:q 退出spark-shell
如果按错了,按成ctrl+z了,并未退出,程序仍然还在进行中,重新进入会报错,spark错误。解决方法如下:
**`ps -aux | grep spark-shell
kill -9 12706 **
杀死最后一个12706进程****