大数据——ML SQL 2.1.0 安装配置

一、准备
下载地址：http://download.mlsql.tech/
例如：mlsql-engine_2.4-2.1.0-SNAPSHOT.tar.gz
2.4以及3.0 都表示依赖的Spark版本
2.1.0 表示MLSQL Engine的自身的版本

二、mlsql-console配置
1、解压

tar -zxvf mlsql-console-2.1.0-SNAPSHOT.tar.gz -C  /opt/moudle/
tar -zxvf mlsql-engine_2.4-2.1.0-SNAPSHOT.tar.gz -C  /opt/moudle/

mv mlsql-console-2.1.0-SNAPSHOT mlsql-console
mv mlsql-engine_2.4-2.1.0-SNAPSHOT.tar.gz mlsql-engine

2、数据库配置
首先创建数据库，假设你数据库名称为 mlsql-console， 使用该目录下的 console-db.sql 文件进行表创建

vim console-db.sql 

查找 app_kv 表
修改：name varchar(256) DEFAULT NULL,
为 name varchar(255) DEFAULT NULL,

执行建表语句

mysql> source  console-db.sql 

修改application.docker.yml中标记有 MYSQL_HOST 字样的部分，修改连接地址，账号密码。

vim application.docker.yml

2、修改start-default.sh
在start-default.sh中有个MY_URL，请将127.0.0.1转换成你的实际机器IP（内网）。如果你要修改端口，你需要同时修改application.docker.yml以及start-default.sh 中的MY_URL的端口。

3、启动服务
现在可以运行 ./start-default.sh 启动MLSQL Console了。默认端口为9002.

三、mlsql-engine配置
1、进入目录

cd mlsql-engine/

2、Local部署

export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark && ./start-default.sh

3、Yarn部署

将Hadoop的配置文件，如core-site.xml,hdfs.xml,hive.xml等文件放到SPARK_HOME/conf目录里
修改Engine的start-local.sh
找到文件里如下代码片段：

$SPARK_HOME/bin/spark-submit --class streaming.core.StreamingApp
–driver-memory ${DRIVER_MEMORY}
–jars ${JARS}
–master local[*]
–name mlsql
–conf “spark.sql.hive.thriftServer.singleSession=true” \

将–master的local[*] 换成 yarn-client, 然后添加excuctor配置,最后大概如下面的样子：

$SPARK_HOME/bin/spark-submit --class streaming.core.StreamingApp
–driver-memory ${DRIVER_MEMORY}
–jars ${JARS}
–master yarn
–deploy-mode client
–executor-memory 4g
–executor-cores 1
–num-executors 1
–name mlsql
–conf “spark.sql.hive.thriftServer.singleSession=true” \

然后指定SPARK_HOME运行即可。

四、访问 http://127.0.0.1:9002

1、设置用户密码

2、添加计算引擎 MLSQL Engine