PredictionIO 遇坑记

最新推荐文章于 2024-08-07 10:27:01 发布

无敌小猫猫

最新推荐文章于 2024-08-07 10:27:01 发布

阅读量752

点赞数

分类专栏：笔记

本文链接：https://blog.csdn.net/ShangYT/article/details/88238749

版权

笔记专栏收录该内容

20 篇文章 0 订阅

订阅专栏

官方参考文档：

https://predictionio.apache.org/templates/javaecommercerecommendation/quickstart/

按照文档来，应该不会出现问题。

记录一下我遇到的问题：

ubuntu系统

（1）Mysql 或者 PostgreSQL，启动命令：pio eventserver & 【要认真呀】

（2）我使用Mysql。Mysql的java驱动，默认是没有的，自己放一个，目录是：PredictionIO-0.13.0/lib，我的文件名称mysql-connector-java-5.1.37.jar。

（3）确定一下使用的是什么驱动，更改配置文件PredictionIO-0.13.0/conf/pio-env.sh

删除掉不用的，设置好需要的。

#驱动的版本号，确保正确
SPARK_HOME=$PIO_HOME/vendors/spark-2.1.1-bin-hadoop2.6

POSTGRES_JDBC_DRIVER=$PIO_HOME/lib/postgresql-42.0.0.jar
MYSQL_JDBC_DRIVER=$PIO_HOME/lib/mysql-connector-java-5.1.37.jar

#数据库配置
 PIO_STORAGE_SOURCES_MYSQL_TYPE=jdbc
 PIO_STORAGE_SOURCES_MYSQL_URL=jdbc:mysql://XXXX:3306/pio
 PIO_STORAGE_SOURCES_MYSQL_USERNAME=XXX
 PIO_STORAGE_SOURCES_MYSQL_PASSWORD=XXX


#下面这几行，是因为报错，说没有这些key，我才加上的
 PIO_STORAGE_SOURCES__TYPE=jdbc
 PIO_STORAGE_SOURCES__URL=jdbc:mysql://XXXX:3306/pio
 PIO_STORAGE_SOURCES__USERNAME=XXX
 PIO_STORAGE_SOURCES__PASSWORD=XXX

不添加的话，报错“Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/lang3/exception/ExceptionUtils”？

（4）记得在数据库创建好数据库。【小细节，要注意】

（5）接收、查询事件的服务使用7070端口；推荐引擎使用8000端口。两个服务，两个服务，一个接收写数据，一个提供推荐服务，记住。

（6）新建一个引擎，加点数据。

（7）发现：接收数据的服务，OK，端口7070；提供查询的服务，OK，端口8000.

但是接收了新数据，如何生效呢？经过一个下午的排查和实验，发现，提交数据之后，需要手动执行buid、train、deploy，才能生效。也就是说，需要手动训练模型！！这不要命了吗？！如何才能实时地预测呢？

（8）写一个定时器。发现crond是一个好东西。写一个训练模型的脚本，将这个脚本加入到crontab -e . * * * * * 是每分钟执行一次

（9）上面的定时器，在单台机器是可以的。任务执行的间隔时间一定要大于任务执行本身需要的时间。我在这个坑里挣扎了一段时间。

（10）单台机器训练模型，需要资源，需要计算能力，而且重启服务的时候，查询服务会中断的。如何解决？

我能想到的解决办法是：建立一个集群。将训练模型的计算任务分发出去，训练完成之后，将模型的各个片段收集起来，整理为一个整体模型，然后再对外提供服务。以此循环。数据量大，模型大，计算量也就大，需要的集群也大。

目前还是我一个人做，这些搞不了了。也没做过大数据。

下面的不用看了