使用Cloudera-QuickStart-VM的一些个人配置

最近为了学习Cloudera，在官网下载了一个配置好的CDH环境VMWare虚拟机。它是基于CentOS6环境的，CDH版本是5.13.0。使用中才发现尽管它把Cloudera Manager 等组件都已经安装好了，也可以一键启动，但是要用于开发学习，还是需要自己花一番功夫自己配置开发环境。下面是我的配置步骤。

1、更新系统。

运行如下命令 

$ sudo yum makecache

$ sudo yum update

然后就可以睡一觉了哈哈。这次更新大约需要下载4GB大小的文件，是将整个系统及组件更新至最新版本，似乎可以将CDH的版本更新到5.16。但是python的版本仍然是2.6.6，java版本是1.7。

 

2、网页显示中文乱码（汉字显示为方框框）

在上一步更新完成之后，就可以安装中文支持组件了。很简单，运行

$ sudo yum groupinstall chinese-support

即可。这样网页就能显示中文啦。

 

3、配置Termimal窗口真透明

透明的Terminal窗口看起来比较酷炫。但是仅仅在Editor -> Profile Preference -> Background 里设置 Transparent background，只是实现了“假透明”而已，此时透明窗口显示的是桌面，而不是当前处在终端窗口下一层的内容。在网上找了一些解决方法，有的说需要打开虚拟机设置里的“3D图形加速”，试过了没用。后来才找到了正确的方法：

依次运行两个命令：

$ sudo yum install gconf-editor

$ gconf-editor

在/apps/metacity/general/ 有个compositing_manager，勾上它就可以实现Terminal界面真透明了。

【参考：https://www.ctolib.com/topics-92363.html】

 

另外gonf-editor 也可以进行Terminal窗口大小的配置，在/apps/gnome-terminal/profiles/Default 里设置：

default_size_columns 和 default_size_rows 分别是行和列的大小；记得一定要勾选“use_custom_default_size”这一项。

 

4、安装scala及sbt

令我惊讶的是这个系统装了spark却没有装scala。运行命令spark-shell显示的scala版本是2.10.5，正好适配java1.7，于是我从官网下载了scala-2.10.5安装好了，但是安装sbt时却一直提示“dependency error：org.scala-sbt:sbt-1.2.8 not found”，查了之后才发现最新的安装sbt的方法只能安装sbt-1.2.8，而它只适用于java1.8，而java1.8对应的scala版本是2.12.x。于是没办法，只好安装scala-2.12.8，相应的java更新到1.8版本。

（1）安装java：去Oracle官网下载安装包，解压至/opt，然后设置环境变量即可；

（2）安装scala：去scala官网下载RPM包，运行

$ sudo rpm -ivh scala-2.12.8.rpm

即可，无需手动配置环境变量。

（3）安装sbt。（参考sbt的文档：https://www.scala-sbt.org/1.x/docs/Installing-sbt-on-Linux.html）

网上有很多文章说sbt无法使用默认源下载依赖包，要先安装sbt-launch，然后手动配置国内源，方法比较复杂。而且我试过国内原竟然也无法下载依赖包（时间是2019年4月），但是意外发现默认源是可以下载依赖包的。于是就使用默认安装方法了。

curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repo
sudo yum install sbt

这将安装sbt的最新版本。

接下来运行命令 $ sbt，然后等几分钟，sbt将从maven下载一些依赖包。

 

5、安装IDEA。

QuickstartVM里自带的开发IDE是Eclipse，但似乎IDEA更好用一些。只需从官网下来tar压缩包，解压至/opt，然后在桌面创建launcher就可以了。

 

6、安装miniconda3

Anaconda文件太大，而且有很多用不到的多余的组件，所以安装miniconda就够了，需要什么组件自己再配置安装就好。

从官网下载sh文件，运行

$ bash ~/Miniconda3-latest-linux-x86_64.sh

按提示一直回车（默认安装）即可。

 

7、配置Vim

本来想装SublimeText的，但是按照官网的步骤安装，提示需要gtk3。在网上简单搜了一下，要装很多依赖包，好像挺麻烦的，所以懒得装了。我还是老老实实地用vim吧。

只是简单地配置一下vim：

vim ~/.vimrc

以下是一些基本配置，后续如果发现了好用的配置再补充。

" 配色方案
colorscheme evening

" 显示行号
set number

" 设置编码方式
set termencoding=utf-8
set encoding=utf-8

" 括号匹配
set showmatch

" 自动缩进
set autoindent

" Tab键设置为4个空格的长度
set tabstop=4
set shiftwidth=4

" 检测文件类型
filetype on

" 语法高亮
syntax on