配置Spark元数据到PostgreSQL

 

首先安装好Sequoiadb数据库。给Sequoiadb数据库搭建spark和postgresql作为SQL解析层。其中spark自己的数据存储非常小，需要使用postgresql保存spark的元数据。执行步骤如下

在sdbadmin用户下启动 PG

       bin/postgres -D pg_data/ >> logfile 2>&1 &

       cat ./pg_data/postgresql.conf  | grep -e listen -e standard_conforming_strings

       vi ./pg_data/postgresql.conf

修改下面两项配置

 listen_addresses = '*'

 standard_conforming_strings = off

在/pgsql/pg_data/pg_hba.conf中在下面一行后面追加一行   

#host    all             all             127.0.0.1/32            trust

#追加一行：

host    all         all         0.0.0.0/0               trust

下载 postgresql 的 jdbc 驱动

将生成的jdbc包拷贝到spark lib中