CentOS-7 安装PRESTO

U盘安装CentOS-7系统

第一次进入U盘启动界面,按e进行编辑

linux dd

按ctrl+X继续,查看U盘挂载位置
重启
第二次进入U盘启动界面,按e进行编辑

/dev/sd??

按ctrl+X继续,进入安装界面
我的选择是最小安装+开发工具

安装相关依赖环境

更换yum源

使用CentOS原本的源,下载速度会很慢,建议更换

#wget是另一个下载工具
yum install -y wget 
 #备份之前的源
cp /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repo.d/CentOS-Base-repo.bak
#下载
cd /etc/yum.repos.d/
wget http://mirrors.aliyun.com/repo/Centos-7.repo 
#替换源
mv Centos-7.repo CentOS-Base.repo
#生成yum源缓存并更新
yum makecache 
yum update

如果想要保留yum所下载的rpm文件,可以修改yum配置文件 /etc/yum.conf

cachedir=/var/cache/yum #存放目录
keepcache=1 #1为保存 0为不保存,默认不保存
metadata_expire=1800 #过期时间

yum下载下来的文件保存默认路径是: /var/cache/yum

安装fftw

访问官网下载安装包http://www.fftw.org/

tar -zxvf fftw-3.3.8.tar.gz
cd fftw-3.3.8.tar.gz
./configure --enable-shared --enable-single --prefix=/home/asc/astrosoft/fftw
make
make install

安装pgplot

PGPLOT地址:http://www.astro.caltech.edu/~tjp/pgplot/
下载地址:ftp://ftp.astro.caltech.edu/pub/pgplot/pgplot5.2.tar.gz

#下载
cd /home/asc/astrosoft
wget ftp://ftp.astro.caltech.edu/pub/pgplot/pgplot5.2.tar.gz
#解压
tar -zxvf pgplot5.2.tar.gz 
mv pgplot pgplot5.2
#安装前的准备
mkdir pgplot
cd pgplot
cp /home/asc/astrosoft/pgplot5.2/drivers.list .
vi drivers.list

修改drivers.list文件
去除PS、VPS、CPS、VCPS、XWINDOWS之前的感叹号

/home/asc/astrosoft/pgplot5.2/makemake /home/asc/astrosoft/pgplot5.2 linux g77_gcc

再修改makefile文件

vi makefile


FCOMPL=g77
改为
FCOMPL=gfortran

#安装依赖库
yum install libX11-devel
make
make cpg

安装tempo

Tempo下载地址:http://tempo.sourceforge.net/

#下载
git clone git://git.code.sf.net/p/tempo/tempo
#安装所需工具
yum install csh
#安装
cd tempo/
./prepare
./configure --prefix=/home/asc/astrosoft/tempo
make
make install

安装glib

可以通过yum安装

yum install glib2-devel

安装cfisio

CFITSIO的下载地址是:http://heasarc.gsfc.nasa.gov/fitsio/

tar -zxvf cfitsio-3.49.tar.gz
cd cfitsio-3.49
mkdir /home/asc/astrosoft/cfitsio
./configure --prefix=/home/asc/astrosoft/cfitsio
make
make install

设置路径

这一步是为了让你在之后的安装中系统可以找到你之前安装的东西

vi /home/asc/.bash_profile

加入

export PATH=$PATH:$HOME/bin:/home/asc/astrosoft/presto/bin:/home/asc/astrosoft/pgplot/bin:/home/asc/astrosoft/tempo/src/
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/asc/astrosoft/presto/lib:/home/asc/astrosoft/pgplot:/home/asc/astrosoft/fftw/lib:/home/asc/astrosoft/cfitsio/lib
export C_INCLUDE_PATH=/home/asc/astrosoft/presto/include:/home/asc/astrosoft/cfitsio/include:/home/asc/astrosoft/fftw/include
export PKG_CONFIG_PATH=/home/asc/astrosoft/cfitsio/lib/pkgconfig:/home/asc/astrosoft/fftw/lib/pkgconfig:/usr/lib64/pkgconfig
export PGPLOT_DIR=/home/asc/astrosoft/pgplot
export PGPLOT_FONT=/home/asc/astrosoft/pgplot/grfont.dat
export PGPLOT_DEV=/xwine
export PGPLOT_LIB="-L /usr/X11R6/lib -lX11 -L /home/asc/astrosoft/pgplot -lpgplot"
export PRESTO=/home/asc/astrosoft/presto
export TEMPO=/home/asc/astrosoft/tempo
export FFTW=/home/asc/astrosoft/fftw

更新环境变量

source /home/asc/.bash_profile

安装PRESTO

PRESTO官网https://www.cv.nrao.edu/~sransom/presto/

#下载
git clone git://github.com/scottransom/presto.git
cd presto
git pull
#进入src安装
make makewisdom
make prep

如果报找不到libpng.pc的错误,就进行以下步骤:

yum install libpng12 libpng12-devel
ln -s /usr/lib64/pkgconfig/libpng12.pc /usr/lib64/pkgconfig/libpng.pc

继续

make

安装python工具

先修改setup.py
在18行中加入“gfortran”
在39行之后再加一行

presto_library_dirs.append(os.path.join(os.environ["FFTW"], "lib"))

presto-3.0可以通过以下命令直接安装

cd $PRESTO
pip install --user .

如果报cannot find -lpng,则进行

ln -s /usr/lib64/libpng12.so /usr/lib64/libpng.so

再build和install

python setup.py build
python setup.py install

测试安装是否成功

python tests/test_presto_python.py

如果之后全部都是success,则成功

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
版本:presto-server-0.214.tar软件版本 presto-cli-0.214-executableCentOS71、presto的起因 hadoop ---hdfs----MR(java)-----hivehive底层原理用MR,速度比较慢,公司hadoop集群主要集中于晚上到凌晨,平日工作时间负载不是很高。但在工作时间内,公司业务人员有实时查询的需求,现在主要借助于hive提供业务人员的查询。hive是基于MR类的SQL查询工具,他会输入的查询SQL解析为MapReduce,能极大的降低使用大数据门槛,让一般的业务人员可以直接准对大数据进行查询,但是有一个利弊,它的查询基于MR,会让人等待比较着急,等待的时间可能是几个小时或者一天。 spark基于内存提高改良的hive,sql,现在factbook在hive上面开发一套利器,准对hive可以通过sql语句快速查询,presto。2、Facebook为何开发Presto  Facebook的2011的数据仓库存储在少量大型hadoopfs集群,Hive是FaceBook在几年前专门为Hadoop打造的一款数据仓库工具,在以前,facebook的科学家和分析师一直靠hive进行数据分析.但hive使用MR作为底层计算框架,是专为批处理设计的,但是随着数据的不断增多,使用hive进行一个简单的数据查询可能要花费分钟或者几个小时,显然不能满足查询需求,FaceBooke也调研了其他比hive更快的工具,但是他们需要在功能有限的条件下做简单操作,以至于无法操作Facebook庞大的数据要求。2012年开始研究自己的框架--presto,每日可以超过1pb查询,而且速度比较快,faceBook声称Presto的性能比hive要好上10倍或者100倍,presto和hive都是facebook开发的 Presto是一个开源的分布式SQL查询引擎,适用于交互式查询,数据量支持GB到PB字节。Presto的设计和编写完全是为了解决Facebook这样规模的商业数据仓库交互式分析和处理速度的问题Presto可以做什么 Presto支持在线数据查询,包括Hive kafka Cassandra关系数据库以及专门数据存储,一条Presto查询可以将多个数据源进行合并,可以跨越整个组织进行分析。Presto以分析师的需求作为目标,他们期望相应速度小于1秒到几分钟,Presto要么在使用速度的快的昂贵的商业方案,提高内存,要么是消耗大量的硬件进行快速查询。(128G 64G)本套课程教给如何在企业环境中使用Presto技术。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值