0600-6.1.0-如何在CDH6.1中安装CDSW1.5

最新推荐文章于 2022-08-14 00:27:10 发布
最新推荐文章于 2022-08-14 00:27:10 发布
阅读量681 收藏
点赞数
分类专栏： Hadoop实操
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hadoop_SC/article/details/102783242
版权

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1 文档编写目的

Cloudera在2019年1月29日发布CDSW1.5，CDSW1.5的一个最大的更新就是支持CDH6和HDP，在1.5之前，CDSW是不能安装到CDH6.x的。CDH5.13版本以后支持CDSW的Parcel安装，本篇文章Fayson就主要讲述如何通过CM6.1使用Parcel包安装CDSW1.5。

CDSW需要DNS服务和泛域名解析，可以参考Fayson以前的文章《如何在Windows Server2008搭建DNS服务并配置泛域名解析》、《如何利用Dnsmasq构建小型集群的本地DNS服务器》、《如何在Windows Server2012搭建DNS服务并配置泛域名解析》，《如何在RedHat6上使用Bind搭建DNS服务》或《如何在RedHat7上使用Bind搭建DNS服务》，CDSW1.5的新功能可以参考《0544-CDSW1.5的新功能》。搭建DNS服务推荐Dnsmasq，小巧可爱特方便。

  • 内容概述

1.部署CDSW parcel及安装CSD文件

2.添加CDSW节点到集群并部署Gateway角色

3.安装DNS服务并配置泛域名解析

4.安装CDSW服务

5.测试CDSW

  • 测试环境

1.Redhat7.4

2.采用root用户操作

3.CM/CDH6.1

4.CDSW版本1.5

  • 前置条件

1.CM和CDH已安装且正常运行

2.集群已部署Spark2 On Yarn模式

3.集群已部署Anaconda

4.集群已配置好DNS服务并配置CDSW节点的泛域名解析

5.CDSW节点已经通过CM加入到集群中

2 部署CDSW Parcel包

1.下载CDSW的Parcel，下载地址如下

https://archive.cloudera.com/cdsw1/1.5.0/parcels/CDSW-1.5.0.p1.849870-el7.parcel
https://archive.cloudera.com/cdsw1/1.5.0/parcels/CDSW-1.5.0.p1.849870-el7.parcel.sha
https://archive.cloudera.com/cdsw1/1.5.0/parcels/manifest.json

2.将下载的文件部署在Apache所在服务器的/var/www/html/cdsw1.5目录下

[root@ip-172-31-6-83 ~]# cd /var/www/html/cdsw1.5
[root@ip-172-31-6-83 cdsw1.5]# ll
total 4398800
-rw-r--r-- 1 root root 4504355994 Jan 29 04:43 CDSW-1.5.0.p1.849870-el7.parcel
-rw-r--r-- 1 root root         41 Jan 29 04:43 CDSW-1.5.0.p1.849870-el7.parcel.sha
-rw-r--r-- 1 root root       4231 Jan 29 04:43 manifest.json
[root@ip-172-31-6-83 cdsw1.5]#

在这里插入图片描述
3.通过浏览器测试是否部署成功

在这里插入图片描述
看到以上界面说明部署成功。

3 安装CSD文件

1.下载CSD文件，使CM支持CDSW安装，文件下载地址

https://archive.cloudera.com/cdsw1/1.5.0/csd/CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH6-1.5.0.jar

2.将下载CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH5-1.5.0.jar文件放在CM所在服务器的/opt/cloudera/csd目录下

[root@ip-172-31-6-83 ~]# cd /opt/cloudera/csd/
[root@ip-172-31-6-83 csd]# ll
total 12
-rw-r--r-- 1 root root 10789 Jan 29 04:43 CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH6-1.5.0.jar
[root@ip-172-31-6-83 csd]#

在这里插入图片描述
3.重启Cloudera-scm-server服务

[root@ip-172-31-6-83 csd]# systemctl restart cloudera-scm-server
[root@ip-172-31-6-83 csd]# systemctl status cloudera-scm-server 
● cloudera-scm-server.service - Cloudera CM Server Service
   Loaded: loaded (/usr/lib/systemd/system/cloudera-scm-server.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2019-04-13 11:43:51 CST; 1min 8s ago
 Main PID: 18788 (java)
   CGroup: /system.slice/cloudera-scm-server.service
           └─18788 /usr/lib/jvm/java-1.8.0-openjdk/bin/java -cp .:/usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:lib/* -server -Dlog4j.configuration...

Apr 13 11:43:51 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Started Cloudera CM Server Service.
Apr 13 11:43:51 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Starting Cloudera CM Server Service...
Apr 13 11:43:51 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
Apr 13 11:43:51 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0
Apr 13 11:43:53 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console. Set system prope...tion logging.
Apr 13 11:44:10 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: Security framework of XStream not initialized, XStream is probably vulnerable.
Apr 13 11:44:20 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: Security framework of XStream not initialized, XStream is probably vulnerable.
Hint: Some lines were ellipsized, use -l to show in full.
[root@ip-172-31-6-83 csd]#

在这里插入图片描述

4 添加CDSW节点到集群

1.登录CM，新建一个主机模板
在这里插入图片描述

2.选择模板拥有的角色

在这里插入图片描述
3.完成主机模板创建

在这里插入图片描述
4.使用添加主机引导，进行主机添加，将cdsw master主机添加到集群，如下图所示为cdsw.fayson.com新节点，关于如何扩容，请参考Fayson以前的文章《如何给Kerberos环境下的CDH集群添加Gateway节点》

在这里插入图片描述

5.选择cdsw master主机，应用主机模板

在这里插入图片描述

在这里插入图片描述
应用成功

在这里插入图片描述

5 配置CDSW的Parcle库

1.配置Parcel库

在这里插入图片描述
2.下载、分配并激活

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

3.完成激活
在这里插入图片描述

6 安装DNS服务并配置泛域名解析

1.安装dnsmasq

[root@cdsw ~]# yum -y install dnsmasq

在这里插入图片描述
2.验证安装

[root@cdsw ~]# dnsmasq -v

在这里插入图片描述
3.配置DNS服务以及泛域名解析，在/etc/dnsmasq.conf文件末尾增加以下配置。

[root@cdsw ~]# vim /etc/dnsmasq.conf
strict-order
listen-address=172.31.13.133
addn-hosts=/etc/hosts
address=/cdsw.fayson.com/172.31.13.133
address=/cdsw/172.31.13.133

在这里插入图片描述

在这里插入图片描述

配置说明：

resolve-file：定义Dnsmasq从哪里获取上游DNS服务器的地址， 默认是从/etc/resolv.conf获取。

strict-order：表示严格按照resolv-file文件中的顺序从上到下进行DNS解析，直到第一个解析成功为止。

listen-address：定义Dnsmasq监听的地址，默认是监控DNS本机的所有网卡上。如果想让局域网内的其他机器使用Dnsmasq解析域名的话，需要添加本机的IP地址。

address：自定义域名解析的IP地址，在此以cdsw-demo.cloudera.com这个域名为例。注意Dnsmasq是支持泛域名解析的，以上配置就是一个典型的泛域名解析实例。

address：也可以过滤某些网站，比如如果不想让客户端解析youk.com这个域名的话，我们则把该域名解析到一台不存在的服务器上或者解析到127.0.0.1这个地址。如：address=/ cdsw-demo.cloudera.com/127.0.0.1

4.启动dnsmasq服务

[root@cdsw ~]# systemctl start dnsmasq
[root@cdsw ~]# systemctl enable dnsmasq

在这里插入图片描述

5.修改/etc/resolv.conf文件配置，在nameserver中增加创建的DNS服务器IP地址，Fayson这里是将cdsw本机配置为dns服务器，所以将cdsw这台机器的内网IP地址配置到该文件中。

[root@cdsw ~]# vim /etc/resolv.conf

在这里插入图片描述
6.泛域名解析测试

nslookup 172.31.13.133
nslookup cdsw.fayson.com
nslookup xxx.cdsw.fayson.com

在这里插入图片描述

7 安装CDSW服务

1.进入CM主页，选择集群点击“添加服务”

在这里插入图片描述

2.进入添加服务引导界面, 选择“Cloudera Data Science Workbench”,点击“继续”

在这里插入图片描述
3.选择Master和Worker，点击“继续”，Fayson的环境只有一台机器，Worker节点不用选择，为空即可。

在这里插入图片描述

在这里插入图片描述

4.输入Domain和Block Device，点击“继续”

在这里插入图片描述
注意：/dev/xvdf必须是一块大于100GB的裸盘，生产环境建议500GB以上，并配置多块。

5.首次运行CDSW，点击“继续”

在这里插入图片描述

在这里插入图片描述
6.完成CDSW安装
在这里插入图片描述

主页显示
在这里插入图片描述
CDSW启动需要一段时间，等待10-20分钟后再访问CDSW控制台。

8 测试CDSW功能

1.Fayson使用的是AWS环境，访问CDSW需要用内网的里的Windows机器，我们这里先配置Windows机器连接到我们刚配置的DNS服务。

在这里插入图片描述

2.进入CDSW服务，点击链接登录CDSW控制台

在这里插入图片描述

3.点击CDSW Web UI进入CDSW登录界面
在这里插入图片描述

4.点击“Sign Up fo a New Account”注册，首次注册的账号默认为管理员账号

在这里插入图片描述

5.使用admin用户登录CDSW

在这里插入图片描述

6.点击New Project创建一个Python工程

在这里插入图片描述

7.工程创建完成后，打开“Open Workbench”，启动一个python的会话

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

8.执行示例代码

在这里插入图片描述

这里Fayson就简单的创建一个Python工程，运行工程里的示例代码测试，更多的功能及用法可以看看Fayson前面写的关于CDSW的一些文章。

9 总结

  • CDSW访问时需要用到泛域名，因此必须为CDSW Master节点配置泛域名解析，具体可参看Fayson前面讲的《如何在Windows Server2008搭建DNS服务并配置泛域名解析》、《如何利用Dnsmasq构建小型集群的本地DNS服务器》、《如何在Windows Server2012搭建DNS服务并配置泛域名解析》，《如何在RedHat6上使用Bind搭建DNS服务》或《如何在RedHat7上使用Bind搭建DNS服务》

  • CDSW节点是运行在CM管理的Gateway节点上的，所有CDSW的节点需要满足CDH的前置条件检查，具体可以参考《CDH安装前置准备》

  • CDSW所有节点需要加入CDH集群，并部署HDFS 、Yarn、Spark2的Gateway

  • CDSW Master节点需要有多块DISK，磁盘空间大于100G，不需要对磁盘进行格式化分区操作。

  • 注意CDH6的CDSW的csd文件与CDH5的是不相同的。

Hadoop_SC
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
0478-如何在CDH5.16.1中安装CDSW1.4.2
Hadoop_SC的博客
01-22 621
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1 文档编写目的 Cloudera在2018年11月29日发布了CDH5.16.1版本，5.16.1的新功能可以参考前一篇文章《0466-CDH5.16.1和CM5...
0586-5.16.1-如何在CDH5.16.1中安装CDSW1.5
Hadoop_SC的博客
11-07 449
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1文档编写目的 Cloudera在2018年11月29日发布了CDH5.16.1版本，5.16.1的新功能可以参考前一篇文章《0466-CDH5.16.1和CM5....
制作Flink的Parcel包和csd文件
storm_fury
04-17 2807
配置java，maven等环境变量 java: export JAVA_HOME=/usr/local/java export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATH maven: export MVN_HOME=/usr/local...
cdh6.2+ 集成flink1.14.4
m0_67401270的博客
08-14 1030
将编译parcel后生成的FLINK-1.14.0-BIN-SCALA_2.11_build文件夹内的3个文件复制到CDH Server所在节点的/opt/cloudera/parcel-repo目录。注：编译flink过程中可能会提示io.confluent相关的包有问题，查询资料反馈是默认下载的包不完整，需删除已经下载的包，然后从https://packages.confluent.io/maven/io/confluent这个网站上下载对应的包放到maven repository目录。...
CDSW安装手册
wx740851326的博客
06-03 4394
CDSW是cloudera的数据科学工作台
hive-jdbc-2.1.1-cdh6.1.0-standalone.jar
03-16
hive JDBC jar包。由于项目使用，此jar包从国外下载费了好大劲，现分享给大家。 hive JDBC jar包。由于项目使用，此jar包从国外下载费了好大劲，现分享给大家。 hive JDBC jar包。由于项目使用，此jar包从国外下载费...
gmp-6.1.0.tar.gz
最新发布
05-17
tar -zxvf linux-tool-gmp-6.1.0.tar.gz GMP是一个用于任意精度算术的免费库，对有符号整数、有理数和浮点数进行运算。除了GMP运行的机器中的可用内存所暗示的精度外，精度没有实际限制。GMP有一套丰富的功能，并且...
jboss-eap-6.1.0.GA-quickstarts:jboss-eap-6.1.0.GA-quickstarts
05-02
简介：快速入门演示了Java EE 6和JBoss堆栈中的一些其他技术。 它们提供了小的，具体的工作示例，可以作为您自己项目的参考。 介绍 这些快速入门可以在JBoss企业应用平台6和JBoss AS 7上运行。如果您想在JBoss企业...
gcc-6.1.0.tar.bz2
09-03
gcc官网源码安装包，可编译，无任何问题，官网下载太慢分享一下，自己下载两个小时才下载完成。希望能帮到有需要的人
基于Spark和Cloudera数据科学家工作平台的分布式机器学习实践
01-04
介绍基于Spark以及Cloudera Data Science Workbench的自动化数据科学工作的过程，并介绍通过BigDL深度学习算法包进行文本数据的分词和NLP算法处理来通过CDSW来简化各部门的协同来加速“从算法到结果”的周期
CDH6.2.0安装详细步骤.docx
07-24
该资源用于CDH6.2.0的本地安装。 CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版。CDH提供Hadoop的核心元素-可伸缩存储和分布式计算-以及基于web的用户界面和重要的企业功能。CDH是Apache许可的开放源码，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。
cdh6.3.2集成flink1.10.2-parcel包(亲测可用)
12-01
源码编译制作的parcel包，centos7.5+cdh6.3.2+scala2.12亲测可用，内附文章教程地址。
CDSW安装遇到的问题
wx740851326的博客
06-05 1297
1.域名解析的问题。 配置需要仔细仔细再仔细，否则dns解析不了是无法访问CDSW工作台的。dns解析的命令一定要验证，等待cdsw启动的时候也应当验证下配置是否ok。 2.磁盘问题。 挂载了整块磁盘之后无需做多余的操作，自作主张进行分区什么的都有可能导致初始化docker环境时失败。 3.软件和服务 千万不要自作主张手工安装docker服务，也不要启动httpd服务，80端口会占用cdsw工作台...
0666-6.2.0-如何在CDH6.2.0上安装CDSW1.5
Hadoop_SC的博客
09-10 469
Fayson的github： https://github.com/fayson/cdhproject 推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f 1 文档编写目的 Cloudera在2019年1月29日发布CDSW1.5，CDSW1.5的一个最大的更新就是支持CDH6和HDP，在1.5之前，CDSW是不能安装到CDH6.x的。CDH5.13版本以后支持CD...
Flink-1.9.1-CDH6.3.2源码编译、CDH-Flink-Parcel制作、CDH6.3.2集成Flink1.9.1
03-21 2996
一、下载两个Tag包（已经修改好配置文件） maven指向私服具体修改内容可以参考 Flink1.9系列-CDH版本源码编译篇 flink-shaded-7.0-src.tar.gz flink-1.9.1-src.tar.gz 二、编译flink-shaded flink-shaded-7.0-src.tar.gz vim flink-shaded-7.0/pom....
centos7安装flink集群_CDH中自定义flink的parcel包和csd文件
weixin_39930252的博客
11-30 518
微信公众号：大数据老司机本文目标当前大数据领域中用于实时流计算的计算引擎flink可谓是如日中天，当然了自从CDH和HDP合并变成CDP后flink也可以以parcel包的方式添加到CDP服务里面。本文就是指导大家如何自定义打包flink的parcel包，并发布到CDH上，并且由CM控制服务的运行、监控服务的基本运行状态。环境准备内容概述：1.环境准备2.实操步骤3.自定义flink p...
CDH6.3.1安装详细步骤(感写B站若泽大数据)
张伟的专栏
12-31 2901
0. 主机规划 虚拟机主机 IP 资源(CPU/内存/硬盘) 所在ESXi(IP) Tools 192.168.1.30 04 Core/8 GB/10 TB 192.168.1.201 cdh-server01 192.168.1.31 32 Core/64 GB/3 TB 192.168.1.202 cdh-agent0...
哪里可以下载 gmp-6.1.0.tar.bz2
05-01
gmp-6.1.0.tar.bz2是GNU多精度算术库的一个版本。如果您要下载它，可以通过以下步骤进行： 1.访问GNU官方网站，网址为https://www.gnu.org/software/gmp/，进入GNU GMP页面。 2.在页面中找到“下载”菜单，然后点击“源代码”。这将带您进入GNU GMP下载页面。 3.在页面中找到gmp-6.1.0.tar.bz2版本，然后点击它。这将开始下载gmp-6.1.0.tar.bz2文件到您的计算机。 4.完成下载后，您可以使用压缩软件（例如WinRAR）解压缩gmp-6.1.0.tar.bz2文件，并使用其中的代码进行开发。 需要注意的是，在下载GNU GMP代码之前，请确保您已经阅读和理解了GNU GMP的许可协议。此外，如果您准备在自己的项目中使用GNU GMP，请确保您已经遵守GNU GMP许可证中的条款。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值