服务器上修改运行scala

更新关于IDEA上配置环境可以参看（https://blog.csdn.net/a532672728/article/details/79455024）这篇博客

---------------------------------------------------分割线---------------------------------------------

最近因为项目需要在Xshell上操作（SPARK在IDEA上太难配置了，最终暂时先放弃了），所以整理下服务器上修改运行scala时一些可能用到的的命令。

一，先进入目标目录：

很基础，简单一说，相对路径cd usr/local/bin，绝对路径cd /usr/local/bin，返回上一级cd ..  返回根目录cd /

二，建立一个自己的文件夹方便管理：

mkdir fengqiaoxue;

三，操作代码前最好复制备份下：

cp -r limingdao/DistanceEstimation fengqiaoxue/test1  其中-r是递归参数，即将文件夹下文件也一并复制，删除（rm），移动（mv）时也同理

四，使用VI/VIM修改代码：

vi src/main/scala/MakeGraph.scala，进入VI之后按I进入插入状态，可以通过上下左右移动光标，或空格、退格及回车等进行编辑内容，编辑好后按Esc退出插入状态，之后如果保存退出就输:wq或shift+zz快捷键，不保存退出直接输:q

五，编译scala代码：

SBT安装参见网站（https://blog.csdn.net/a532672728/article/details/72477591）

配好后编译首先需要确保包结构符合要求，之后运行/usr/local/sbt/sbt package命令即可，尝试了下应该是没问题了。

/usr/local/sbt/bin/sbt package

 六，提交运行：

进入到target中刚生成jar包的文件目录里，spark-submit下就可以了

spark-submit --class test4 --master spark://master:7077 simple-project_2.11-1.0.jar

------------------------------------------------------------------------------------------- 

补充关于HDFS上文件查看，上传文件等操作

查看HDFS内容：hdfs dfs -ls /    (最后是hdfs的目录)

上传HDFS文件：hdfs dfs -put /home/hdfs/files/test.txt   /input        （前面为服务器中文件路径，后面为HDFS中文件路径）

显示文件中的内容：hdfs dfs -cat /small2.txt

也可以切换到相应目录使用vim打开查看

 

转载于:https://www.cnblogs.com/xia-hao/p/9829296.html