DataCube安装文档

英文文档中有一些坑，最后导入数据还没搞定，以后再更新

参考
http://www.ceos-cube.org/docs/installation/index.html
http://datacube-core.readthedocs.io/en/latest/index.html

#下载源码与相关工具

mkdir ~/Datacube  

sudo apt-get update
sudo apt-get install -y git

在Datacube目录下clone datacube和notebook

cd ~/Datacube
git clone https://github.com/ceos-seo/agdc-v2.git -b master
git clone https://github.com/ceos-seo/data_cube_notebooks.git -b master && cd data_cube_notebooks && git submodule init && git submodule update  

#安装虚拟环境
安装python依赖

sudo apt-get install -y python-pip
sudo pip install virtualenv  
virtualenv ~/Datacube/datacube_env  

#安装依赖

安装系统依赖

sudo apt-get -y install postgresql-9.5 postgresql-client-9.5 postgresql-contrib-9.5  
sudo apt-get -y install libhdf5-serial-dev libnetcdf-dev
sudo apt-get -y install libgdal1-dev
sudo apt-get -y install postgresql-doc-9.5 libhdf5-doc netcdf-doc libgdal-doc
sudo apt-get -y install hdf5-tools netcdf-bin gdal-bin pgadmin3  
sudo apt-get -y install libfreetype6-dev
sudo apt-get -y install libblas-dev
sudo apt-get -y install liblapack-dev

安装虚拟环境依赖

source ~/Datacube/datacube_env/bin/activate
pip install numpy  
pip install psycopg2  
pip install sqlalchemy==1.0.13  
pip install rasterio  
pip install netcdf4  
pip install pandas  
pip install shapely 
pip install cachetools==1.1.6  

gdalinfo --version  

这里会显示1.11.3，下一步的gdal版本应该和这个一样，如果不成功就换成1.11.2

pip install --global-option=build_ext --global-option="-I/usr/include/gdal" gdal==1.11.2

#安装DataCube

cd ~/Datacube/agdc-v2
python setup.py install  

#配置安装数据库
修改数据库配置文件，将postgresql.conf中的timezone字段的值改为UTC

cd /etc/postgresql/9.5/main
sudo gedit postgresql.conf  

在PostgreSQL中创建用户

sudo -u postgres createuser --superuser <当前用户名>  
sudo -u postgres psql -c "ALTER USER <当前用户名> WITH PASSWORD '<设置密码>';"  
createdb -U <当前用户名> datacube 

初始化数据库

cd ~/Datacube/agdc-v2/
datacube -v system init  

连接服务器

sudo -u <当前用户名> psql datacube

#安装NoteBooks

pip install jupyter
pip install matplotlib
pip install scipy
cd ~/Datacube/data_cube_notebooks/
jupyter nbextension enable --py --sys-prefix widgetsnbextension

下载basemap并编译安装，地址：https://github.com/matplotlib/basemap

mkdir ~/temp
cd ~/temp  
git clone https://github.com/matplotlib/basemap.git
cd basemap/geos-*

安装geos库

cd basemap/geos-*
export GEOS_DIR=~/
./configure --prefix=$GEOS_DIR
make
make install  

回到basemap根目录，安装notebook

cd ..
python setup.py install

启动notebook

cd ~/Datacube/data_cube_notebooks/
jupyter notebook

成功打开页面后退出虚拟环境

deactivate

#获取示例数据

sudo apt-get -y install python-pip
sudo apt-get -y install python-gdal 

sudo pip install pathlib
sudo pip install pyyaml
sudo pip install python-dateutil
sudo pip install numpy
sudo pip install rasterio==0.35.1
sudo pip install shapely
sudo pip install cachetools==1.1.6

建立目录

sudo mkdir /datacube
cd /datacube
sudo mkdir ingested_data
sudo mkdir original_data
sudo mkdir ui_results
sudo mkdir ui_results_temp
cd /datacube/ui_results
sudo mkdir custom_mosaic
sudo mkdir fractional_cover
sudo mkdir tsm
sudo mkdir water_detection
sudo mkdir slip

修改权限

sudo chmod 777 -R /datacube  

导入product的metadata

每个数据源都要属于一个product

source ~/Datacube/datacube_env/bin/activate  

cd ~/Datacube/agdc-v2

添加项目的yaml文件，文件在~/Datacube/agdc-v2/ingest/dataset_types/下，这里全部添加

datacube product add ingest/dataset_types/*

生成数据metadata

。。。

。。。