目录
- 软件包说明
- 操作系统安装
2.1 安装操作系统
2.2 网络环境配置
2.3 计算机名更改 - 一键部署安装
3.1 配置文件修改
3.1.1 Host.conf
3.1.2 Init.conf
3.1.3 Setting
3.2 onestep 部署配置
3.3 执行 bin/01preinstall.sh
3.4 执行 bin/02installssh.sh
3.5 执行 bin/03installSoft.sh - 大数据环境验证
- 配置IOBJECTS JAVA
- IOBJECTS FOR SPARK导数据至HBASE
- IDESKTOP JAVA配置工作空间
- ISERVER发布工作空间
操作流程
1 软件包说明
软件包说明表:
2 操作系统安装
- 2.1安装操作系统
安装CentOS7.5操作系统,注意服务器GUI,ssh服务等需要安装,设置root用户与密码 - 2.2 网络环境配置
以root用户登录后,设置静态ip
输入命令
vi /etc/sysconfig/network-scripts/ifcfg-eth0
编辑:
之后保存并退出并Systemtcl restart network
重启网卡
关于DNS可以:
vim /etc/resolv.conf
nameserver 192.168.0.1
nameserver 8.8.8.8
nameserver 8.8.4.4
- 2.3 计算机名更改
hostnametcl set-hostname
计算机名
3 一键部署安装
- 3.1 配置文件修改
拷贝ExpressSetupDistributedGIS.tar到主节点机器(只在主节点拷贝就行)
针对配置文件修改:
- 3.1.1 Host.conf
每行依次为:IP地址 计算机名 root密码
每列依次为:主节点 子节点1 子节点2 …
- 3.1.2 Init.conf
执行大数据环境的组、用户、密码
- 3.1.3 Setting
大数据软件配置,默认即可
- 3.1.1 Host.conf
- 3.2 onestep 部署配置
-
拷贝ExpressSetupDistributedGIS.tar 到 192.168.230.145 机器的 /home目录,这里吧145机器作为主机部署,并解压。
解压后,目录结构如下如:
-
修改 conf/host.conf 文件内容,格式是:机器ip,机器名,root用户密码修改后如下图:
-
修改 conf/init.conf文件内容:
第一组参数是软件具体部署的用户和密码信息。这个必须填
接下来是指定安装的软件,这里hadoop、zookeeper和hbase这三款产品是一组,顺序不能颠倒。
然后是软件安装路径,一般都安装在新建的用户下。
详细截图如下:
- 3.3 执行 bin/01preinstall.sh
- 检查 bin目录和expect目录下的所有文件,需要有执行权限。如果没有 用
chmod 777
命令赋予权限 - 这个执行脚本,必须在root用户下执行,主要做了如下几个事:安装expect软件;安装并部署ntp时间同步服务器关闭防火墙安装Java;并根据配置,修改所有软件参数
- 验证,所有机器都会部署,我们登录到147机器验证时间同步服务:
切换到map用户,验证Java
- 3.4 执行 bin/02installssh.sh
在145主机,切换到map账户,执行这个脚本,执行结果如下:
- 3.5 执行 bin/03installSoft.sh
同上,还是在145主机,map账户,执行这个脚本。
安装软件,这个过程需要几分钟。
安装后,会在安装件安装目录生成 start_all.sh 和 stop_all.sh 后续用户可以用这两个脚本来统一启动和关闭软件。
4 大数据环境验证
- 验证hadoop:
- 验证hbase:
- 验证spark:
5 配置iObjects Java
组件包:supermap-spark-10.0.0-20190815.zip
配置iObjects Java有两种途径,第一种是配置环境变量,在Windows操作系统中,将iobjectsjava Windows产品的bin目录路径设置到spark-env.h 的 PATH 中:
set PATH=%PATH%:{iobjectsjava Windows产品的bin目录}
在Linux 操作系统中,将 iobjectsjava Linux产品的bin目录路径设置到spark-env.h 的 LD_LIBRARY_PATH 中:
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:{iobjectsjava Linux产品的bin目录}
其中,Linux操作系统还支持直接将产品包拷贝至/opt/SuperMap/iobjects/1000目录下,SuperMap产品会默认找该路径下的组件包。
6 iObjects for Spark导数据至hbase
- 指定spark集群环境,可以省略的步骤,默认local执行
打开SuperMap iObjects for Spark/bin目录下的iobjects4spark.sh文件进行编辑,填写修改需要执行算法的spark集群地址。
Spark集群地址可在web页面中查看:
2. 在SuperMap iObjects for Spark/bin目录下使用tools工具的copy-features将数据集导入HBase,参考以下写法(或参看bdt.xls):
支持导入的数据源类型出了udb之外还有以下几种,具体写法可参考产品包中README.pdf:
在hbase的web页面中确认已经成功导入数据。
7 iDesktop Java配置工作空间
使用iDesktop Java【打开数据库型数据源】,选择【HBase】数据库,填写zookeeper地址,选择catalog名称。
打开需要发布的数据集,全幅、(配置风格)、保存地图、保存工作空间
8 iServer发布工作空间
将工作空间文件拷贝至iserver服务器上,使用iserver发布工作空间