CDSW安装手册

CDSW是cloudera的数据科学工作台

安装的注意事项
1.CDH的版本需要在5.13及以后的版本。
2.需要给CDSW的主节点分配一块不少于100G的硬盘空间。
3.需要在CDH的主节点及CDSW的主节点上配置泛域名解析。
4.需要安装spark2服务,否则直接提示服务不满足，无法安装。

下面来正式开始安装
1.官网下载安装包和csd文件
parcel下载地址
csd文件就下载相应的版本的csd文件即可
把csd放置在/opt/cloudera/csd目录下
parcel文件放置在/opt/cloudera/parcel-repo目录下，注意hash文件也需要
然后检测一下parcel包，可以分发激活CDSW安装包到各个主机上了。

2.给master节点配置泛域名解析服务
在需要安装CDSW master的节点上

yum install -y dnsmasq

添加配置

vi /etc/dnsmasq.conf
strict-order
listen-address=192.168.1.122
addn-hosts=/etc/hosts
address=/cdsw.novalocal/192.168.1.122
address=/cdsw/192.168.1.122

我的主机ip地址是192.168.1.122
将自己的主机地址加入到dns的解析文件中

vi /etc/resolv.conf
nameserver 192.168.1.122

配置完启动服务并设置开机自启动

systemctl restart dnsmasq
systemctl enable dnsmasq

检验一下是否配置成功

nslookup 192.168.1.122
nslookup cdsw.novalocal
nslookup *.cdsw.novalocal

如果安装正确，则会给出解析到的地址，否则则会报错。

3.给需要安装CDSW服务的机器挂载磁盘。
常见的scsci 格式额云硬盘即可，不小于100G。
然后添加CDSW服务
配置Cloudera Data Science Workbench Domain DOMAIN 为cdsw.novalocal
配置Master Node IPv4 Address MASTER_IP 为你的master的ip地址 ，这里为192.168.1.122
配置Docker Block Device DOCKER_BLOCK_DEVICES 为你挂载的磁盘名称 我的是 /dev/vdb
注意，如果不同的woker挂载的磁盘名不一样，尽量将其改为一致，否则需要在服务里单独配置。
节点上不要安装docker服务，主节点不要启用httpd服务，否则会端口占用。
然后就坐等CDSW安装完成吧。
在这里，有个prepare node步骤，这步主要是进行docker环境的初始化，初始化磁盘网卡等等，如果你的磁盘存在问题，那么多半会在这里报错。

4.安装完成，全绿通过之后，需要等个十来分钟等CDSW服务起来，这个启动的过程主要就是在挂载一下docker镜像，启动docker容器之类的。在此期间我们可以跟踪下日志文件 /var/log/cdsw/cdsw_health.log 看看启动的进展。
使用 cdsw validate命令查看下基础配置是否存在问题，域名解析是否生效。没安装iptable的话，iptable的报错可以直接忽略。
其他的cdsw命令一般没什么用。
使用kubectl get pods 看看你的容器是否ok，这个信息在日志里也可以看到。
如果不幸存在失败的pod，使用kubectl logs 《pod_id》看看有问题的pod报的什么错。

一般情况下，全新的机器，配置严格跟着步骤，是能够直接启动的。
启动了之后
5.进入CM点击进入UI界面，提示跳转到cdsw.novalocal

注册第一个账号，此账号为管理员账号。

新建一个项目，使用python模板，open workbench之后启动session，等个十秒钟，session差不多启动成功了。

选择 analysis.py ,运行一下，搞定。

至此CDSW的安装就算完成了，感谢阅读。

安装遇到的一些问题，请参考我的另一篇文章。CDSW安装遇到的问题