在postgresql中使用Madlib训练机器学习模型

在postgresql中使用Madlib训练机器学习模型

前段时间做数据课的开放性project，从链家上爬了些上海地区二手房的数据，想预估下二手房价格。因为要求用到postgresql\greenplum的特性，正好Madlib使得可以在数据库中直接使用SQL语句训练模型，就用它了。关于Madlib的细节就不多说了，一句话概括下：是一个in-database的机器学习库。下面先说下postgresql和madlib的安装步骤（系统用的centos7，我曾经花费了一个星期的时间试图在ubuntu上搞定，未果。只是证明了如官方所说的madlib只支持centos，redhat。所以想在ubuntu上安装madlib的同学，可以放弃了。）：

一、安装启动postgresql9.5

yum install https://download.postgresql.org/pub/repos/yum/9.5/redhat/rhel-7-x86_64/pgdg-centos95-9.5-2.noarch.rpm
sudo yum install postgresql95--with-python
sudo yum install postgresql95-server

cd /usr/pgsql-9.5/bin
./postgresql95-setup initdb

注：第一条之所以要加上（--with-python）是因为如果不加的话，在后面安装madlib的时候会出错，出错信息如下所示：

如果在安装postgresql的时候没有加上--with-python，可以再用命令：yum install postgresql-plpython.×86_64（应该是这个命令，我记不太清楚，如果不是的可以留言在讨论）

二、安装pgadmin4

pgadmin4相对pgadmin3改动比较大，pgadmin3是个应用程序客户端，而pgadmin4变成了web网页。个人感觉没有3好用。。安装启动命令为：

sudo pip2 install pgadmin4-2.0-py2.py3-none-any.whl
cd /lib/python2.7/site-packages/pgadmin4
sudo python pgAdmin4.py

三、安装madlib命令：

sudo yum install apache-madlib-1.13-bin-Linux.rpm --nogpgcheck
sudo ./madpack -s madlib -p postgres -c postgres@127.0.0.1:5432/test install
sudo ./madpack -s madlib -p postgres -c postgres@127.0.0.1:5432/test install-check

其中test是我的数据库名字。

四、使用madlib

例子官网配套的很齐全，不过多的阐述。这里只 举个使用KNN的例子：

数据集为：

注意CNN对数据集的格式的要求（红色框起来），训练模型的语句为：

最后一条语句是对训练结果进行查询。