Spark+R安装(linux平台)

一.R语言安装

http://blog.csdn.net/duxu24/article/details/53611510

https://blog.csdn.net/CSDNzyq/article/details/52734788

ps:

0.记得先更改为国内的镜像源

1.最好下载压缩包解压缩安装

2.直接apt安装容易出现依赖包问题,若出现,记下依赖包逐个安装,由于版本问题个别依赖包可能无法安装(没有合适的安装包),但不一定影响使用(apt安装适用于无需配置路径的应用) 

3.修改配置文件前记得备份原始文件,加后缀名copy

4.平心静气,仔细分析问题不要急躁

二.Spark安装

spark的安装主要分三步

1.java jdk的安装

2.hadoop的安装

3.scala的安装

最重要的是配置好相关路径,基本就不会有太大问题,不同设备(平台版本,甚至硬件问题)大多可以搜索解决

注意备份好profile文件,防止错误配置将系统弄崩溃无法恢复,最好可以备份系统

https://blog.csdn.net/jarth/article/details/53098844

https://www.jianshu.com/p/a0c38dc46b89

ps:

1.下载包安装,注意版本

2.最好安装hadoop

3.缺啥补啥,直接搜索异常,找到需要的包

4.注意教程步骤,不要漏,看仔细

5.出现异常,首先根据异常提示修改,再搜索异常,多看几篇解决方案,或者换关键字,实在搜索无果才考虑更换版本

6.不同教程建议下载的版本不一,最好以一个为准,其他作为参考,否则容易乱

根据以上教程可能会出现的异常
亲测:安装完整版spark不会出现异常

1.缺少slf4j包  logger 记录日志(原因:不安装hadoop的情况下会出现,若已安装应该不会有问题)

2.fs...outputStream(原因同1.)

3.SPARK_...IP(解决:根据错误提示修改即可)

4.其他坑在简书的链接基本可以找到

特别提醒

在复制教程中的配置语句注意版本名的问题,尤其后缀,版本号!!!

若输入某启动命令无效时,即弹出"xx不是命令",很有可能是配置语句写错

应首先使用cd 命令进入路径,查找是否有相关命令

关于linux平台

ubuntu汉化比较完整,适合中国人使用,但不建议使用麒麟版本,容易出现各种奇怪问题,另外ubuntu图形化丰富,

不适合跑在虚拟机上(可能虚拟机优化的好应该没问题,但目前本人尝试过网上许多方法还是无法流畅使用)

其他平台如redhat, deplin 汉化比较麻烦,汉化可能一不小心会搞崩系统,但优点是图形化简单,适合安装在虚拟机上

使用linux还是系统的学习从基础学起比较好,否则会被坑到没脾气