DataSphereStudio部署流程
文章平均质量分 75
DataSphereStudio部署流程
沧海之巅
这个作者很懒,什么都没留下…
展开
-
快速部署Linkis 1.0.3
快速部署Linkis 1.0.31. 注意事项因为mysql-connector-java驱动是GPL2.0协议,不满足Apache开源协议关于license的政策,因此从1.0.3版本开始,提供的Apache版本官方部署包,默认是没有mysql-connector-java-x.x.x.jar的依赖包,安装部署时需要添加依赖到对应的lib包中。如果您是首次接触并使用Linkis,您可以忽略该章节;如果您已经是 Linkis 的使用用户,安装或升级前建议先阅读:Linkis1.0 与 Linkis0.原创 2022-03-22 12:39:34 · 820 阅读 · 0 评论 -
Schedulis 普通版环境部署
## Schedulis 普通版环境部署一)、使用前置请基于 Linux 操作系统操作(建议 CentOS)创建新用户 hadoop, 并为该用户赋予 root 权限,用于部署schedulis准备好 MySQL(版本5.5+) 的客户端和服务端请确保已安装并且正确配置 JDK(版本1.8+)配置集群各节点之间的免密码登录请准备一台已经正确安装和配置 Maven(版本3.3+) 和 Git 的机器,用来编译代码安装dss所需的安装包,以及pstree(shutdown时会用到)二)、获原创 2022-03-19 09:44:29 · 1136 阅读 · 1 评论 -
DSS部署-完整版
文章目录DSS部署流程第一部分、 背景第二部分、准备虚拟机、环境初始化1、准备虚拟机2、环境初始化关闭防火墙关闭selinux关闭swap根据规划设置主机名在master添加hosts将桥接的IPv4流量传递到iptables的链时间同步安装如下软件3、准备备如下软件包第三部分、创建hadoop用户第四部分、配置JDK卸载原JDK步骤一:查询系统是否以安装jdk步骤二:卸载已安装的jdk步骤三:验证一下是还有jdk实际操作记录如下安装新JDK(1) 去下载Oracle版本Java JDK:jdk-8u261原创 2022-03-10 20:51:55 · 13819 阅读 · 7 评论 -
DSS部署-13、help
软连接的创建、删除、修改一、软链接创建#ln -s 【目标目录】 【软链接地址】【目标目录】指软连接指向的目标目录下,【软链接地址】指“快捷键”文件名称,该文件是被指令创建的。如下示例,public文件本来在data文件下是不存在的,执行指令后才存在的。软链接创建需要同级目录下没有同名的文件。就像你在windows系统桌面创建快捷键时,不能有同名的文件。当同级目录下,有同名的文件存在时,会报错误。二、删除#rm -rf 【软链接地址】上述指令中,软链接地址最后不能含有“/”,当含有“/”时,原创 2022-03-06 01:14:57 · 376 阅读 · 0 评论 -
DSS部署-12、DSS安装
DataSphere Studio一键安装使用文档补充nginx配置,测试yum是否好用,准备配置文件links默认使用python,建议安装python2web的install.sh中,需要本地安装后,然后去掉nginx的安装,及防火墙的处理部分脚本修改全家中中conf的config.sh中的nginx端口为非8088 ,不能与yarn冲突一、使用前环境准备a. 基础软件安装Linkix需要的命令工具(在正式安装前,脚本会自动检测这些命令是否可用,如果不存在会尝试自动安装,安装失败则需用户手原创 2022-03-06 01:14:05 · 3285 阅读 · 0 评论 -
DSS部署-11、Spark on Yarn部署
文章目录第七部分 Spark on Yarn部署相关配置操作记录如下spark-sql -e "show databases"第七部分 Spark on Yarn部署相关配置tar xf spark-2.3.2-bin-hadoop2.7.tgzcd /opt/modules/spark-2.3.2-bin-hadoop2.7/conf更改配置文件cp spark-env.sh.template spark-env.shcp slaves.template slavesvi slaves原创 2022-03-05 08:32:05 · 772 阅读 · 0 评论 -
DSS部署-10、安装hive
文章目录第五部分 Hive安装部署安装部署Hive配置hive-site.xml配置hive-log4j2.properties错误日志修改hive-env.sh初始化hive元数据处理Driver异常启动hive第五部分 Hive安装部署安装部署Hive安装Apache Hive-2.3.3下载地址wget http://archive.apache.org/dist/hive/hive-2.3.3/apache-hive-2.3.3-bin.tar.gztar -zxvf apache-hi原创 2022-03-05 08:31:51 · 695 阅读 · 0 评论 -
DSS部署-9、安装hadoop(伪分布式)
[toc]第四部分、安装hadoop(伪分布式)解压Hadoop目录文件1、 复制hadoop-2.7.2.tar.gz到/opt/modules目录下。2、 解压hadoop-2.7.2.tar.gz[hadoop@bigdata-senior01 ~]# cd /opt/modules[hadoop@bigdata-senior01 hadoop]# tar -zxvf hadoop-2.7.2.tar.gz配置Hadoop1、 配置Hadoop环境变量[hadoop@bigdata原创 2022-03-05 08:30:17 · 647 阅读 · 0 评论 -
DSS部署-8、安装nginx
nginx【dss会自动安装】CentOS7安装Nginx文章转自:https://www.cnblogs.com/liujuncm5/p/6713784.html安装所需环境Nginx 是 C语言 开发,建议在 Linux 上运行,当然,也可以安装 Windows 版本,本篇则使用 CentOS 7 作为安装环境。一. gcc 安装安装 nginx 需要先将官网下载的源码进行编译,编译依赖 gcc 环境,如果没有 gcc 环境,则需要安装:yum install -y gcc-c++二.原创 2022-03-05 08:30:02 · 435 阅读 · 0 评论 -
DSS部署-7、配置Python
在Linux上安装Python3 - lemon锋 - 博客园 (cnblogs.com)安装python3dss默认使用python2,如果用python3需要该配置,建议默认使用python3,安装方法与python3类似下载pip(适用于python3) curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py 下载pip(适用于python2) curl https://bootstrap.pypa.io/pip/2.7/get-原创 2022-03-05 08:28:51 · 280 阅读 · 0 评论 -
DSS部署-6、Mysql安装
Centos7二进制文件安装MySQL5.7.251、删除centos系统自带的mariadb数据库防止发生冲突rpm -qa|grep mariadbrpm -e mariadb-libs --nodeps2、安装libaio库yum -y install libaio3、下载并解压mysql-5.7.25cd /opt/modules/wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.25-linux-glibc2原创 2022-03-05 08:27:40 · 292 阅读 · 0 评论 -
DSS部署-5、Scala部署
文章目录第六部分 Scala部署第六部分 Scala部署[hadoop@bigdata-senior01 modules]$ pwd/opt/modules[hadoop@bigdata-senior01 modules]$ tar xf scala-2.12.7.tgz[hadoop@bigdata-senior01 modules]$ lltotal 1478576drwxrwxr-x 10 hadoop hadoop 184 Jan 4 22:41 apache-hive原创 2022-03-06 01:16:14 · 155 阅读 · 0 评论 -
DSS部署-4、配置JDK
文章目录第二部分、配置JDK卸载原JDK步骤一:查询系统是否以安装jdk步骤二:卸载已安装的jdk步骤三:验证一下是还有jdk实际操作记录如下安装新JDK(1) 去下载Oracle版本Java JDK:jdk-8u261-linux-x64.tar.gz(2) 将jdk-7u67-linux-x64.tar.gz解压到/opt/modules目录下(3) 添加环境变量(4)安装后再次执行 java –version,可以看见已经安装完成。第二部分、配置JDK参考资料注意:Hadoop机器上的JDK,最原创 2022-03-05 08:26:15 · 1633 阅读 · 0 评论 -
DSS部署-3、创建hadoop用户
文章目录第三部分、创建hadoop用户第三部分、创建hadoop用户1、创建一个名字为hadoop的普通用户[root@bigdata-senior01 ~]# useradd hadoop[root@bigdata-senior01 ~]# passwd hadoop2、 给hadoop用户sudo权限注意:如果root用户无权修改sudoers文件,先手动为root用户添加写权限。[root@bigdata-senior01 ~]# chmod u+w /etc/sudoers给ha原创 2022-03-05 08:25:17 · 4249 阅读 · 1 评论 -
DSS部署-2、环境准备
[toc]第一部分、准备虚拟机、环境初始化1、准备虚拟机首先通过 qemu-img 创建虚拟磁盘文件#qemu-img create -f qcow2 -o size=50G,preallocation=metadata CentOS7.qcow2安装虚拟机命令:#virt-install --name=kvmdss --virt-type=kvm --vcpus=4 --ram=10240 --location=/home/kvm/iso/CentOS-7.2-x86_64-Minimal原创 2022-03-05 08:24:46 · 984 阅读 · 0 评论 -
DSS部署-1、待执行清单
文章目录 准备kvm虚拟机 环境准备:基础软件安装[telnet,tar,sed,dos2unix,yum,zip,unzip,expect,net-tools,ping,curl,] 创建用户 配置JDK:JDK (1.8.0_141以上) 配置Scala:scala 安装MySQL:MySQL (5.5+) 安装Python:phthon2(如果用python3需要修改dss中的相关配置,建议使用python2) 安装nginx:nginx 安装hadoop2.7.2 安装hive原创 2022-03-05 08:24:28 · 6511 阅读 · 0 评论