Ubuntu&Spark安装及配置&Linux基本操作

修改用户权限（root的权限和非root不一样）：

方法一：

1.sudo gedit /etc/passwd

2.修改ID：1000->0

方法二（推荐）：Ubuntu&Spark安装及配置&Linux基本操作

1.设置root密码：sudo passwd root

2.设置密码

3.获取root权限：su （按enter）

安装VMware Tools：

1.“虚拟机”菜单栏-安装VMware Tools

2.将VMware Tools压缩包解压到某一个新建的文件夹

3.cd vmware-tools-distrib

4.sudo ./vmware-install.pl

如果是“VMware-Tools”是灰色的，则在CD/DVD处修改iso位置，选择linux.iso

安装SPARK步骤：

1.安装JDK，配置JDK和JRE

2.安装SCALA，配置scala(如果不用scala，可以不用)

3.安装python或ipython，我安装anaconda

4.安装spark

安装JDK：

1.新建文件夹：sudo mkdir /usr/jvm

2.将压缩包解压到新建的文件夹中：sudo tar -zxvf 压缩包.tar.gz -C /usr/lib/jvm

3.进入jvm文件夹，修改文件名：sudo mv 压缩包名 java

4.环境配置：

sudo gedit ~/.bashrc

source ~/.bashrc(保存后)

export JAVA_HOME=/usr/lib/jvm/java

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

5.测试：java -version

cd

安装scala：

1.新建文件夹：sudo mkdir /usr/spark

2.将压缩包解压到新建的文件夹中：sudo tar -zxvf 压缩包.tar.gz -C /usr/lib/spark/scala

3.进入spark文件夹，修改文件名：sudo mv 压缩包名 scala

4.环境配置：

export SCALA_HOME=/usr/lib/spark/scala

export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${SCALA_HOME}/bin:$PATH

5.测试：scala--version

安装anaconda：

1.安装： bash Anaconda3-2.1.0-Linux-x86_64.sh

2.指定安装路径：/home/anaconda

3.环境配置：

export ANACONDA_HOME=/home/spark/anaconda

PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${SCALA_HOME}/bin:${ANACONDA_HOME}/bin:$PATH

4.测试：conda list

5.打开 “anaconda/bin”，运行spyder便可开始编程之旅（直接进到该目录，输入spyder、）

conda install ***  安装新包，

conda update *** 更新。

安装pycharm：

1.将压缩包解压到新建的文件夹中：sudo tar -xvf 压缩包.tar -C /usr/lib/spark/

2.进入spark文件夹，修改文件名：sudo mv 压缩包名 pycharm

3.进入“pycharm/bin”，运行 ./pycharm.sh，运行pycharm

4.打开PyCharm，创建一个Project。 然后选择“Run” ->“Edit Configurations” ->“Environment variables”

5.增加SPARK_HOME目录与PYTHONPATH目录。

- SPARK_HOME:Spark安装目录

- PYTHONPATH:Spark安装目录下的Python目录

安装spark（还是不要放在root中，不然不能写入）：

1.将压缩包解压到新建的文件夹中：tar -xvf 压缩包.tar -C /home/spark/

python配置：

export PYTHONPATH=${SPARK_HOME}/python:${SPARK_HOME}/python/bin:${SPARK_HOME}/python/lib/py4j-0.9-src.zip:$PYTHONPATH

打开spark下的python\ipython：

cd /home/spark-hadoop/bin

1.终端输入PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark

2.在~/.bashrc 中设置

export PYSPARK_DRIVER_PYTHON=jupyter

export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

修改jupyter-notebook位置：

1.jupyter notebook --generate-config,找到生成文件路径

2.cd ~/jupyter,gedit jupyter_notebook_config.py,修改c.NotebookApp.notebook_dir='保存路径'

附上我配置的内容：

（环境配置的方法具体请百度）

export JAVA_HOME=/usr/lib/jvm/java

export JRE_HOME=${JAVA_HOME}/jre

export SCALA_HOME=/usr/lib/spark/scala

export ANACONDA_HOME=/home/spark/anaconda

export SPARK_HOME=/home/spark/spark-hadoop

export PYTHONPATH=${SPARK_HOME}/python:${SPARK_HOME}/python/bin:${SPARK_HOME}/python/lib/py4j-0.9-src.zip:$PYTHONPATH

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${SCALA_HOME}/bin:${ANACONDA_HOME}/bin:${SPARK_HOME}/bin:$PATH

安装opencv:

1.安装编译工具：

sudo apt-get install build-essential

安装辅助工具：

sudo apt-get install cmake git pkg-config libgtk2.0-dev libavcodec-dev libavformat-dev libswscale-dev

安装关联库：

sudo apt-get install python-dev python-opencv python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev

2.将 OpenCV-2.4.13.zip移动到用户主目录下进行编译：

unzip opencv_ 2.4.13 .zip

cd opencv- 2.4.13

mkdir build

cd build

3.编译命令

cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D BUILD_NEW_PYTHON_SUPPORT=ON -D WITH_V4L=ON -D WITH_QT=ON -D WITH_OPENGL=ON ..

4.vim

:w 保存文件但不退出vi

:w file 将修改另外保存到file中，不退出vi

:w! 强制保存，不推出vi

:wq 保存文件并退出vi

:wq! 强制保存文件，并退出vi

q: 不保存文件，退出vi

:q! 不保存文件，强制退出vi

:e! 放弃所有修改，从上次保存文件开始再编辑