注意此处是硬件配置,但不涉及GPU的配置,后期会专门出一篇关于GPU的配置篇
服务器的硬件要求
- 物理内存最好在6G左右
- 若物理内存较低,可以多添加一点交换分区的大小(一般是物理内存的2 ~ 4 倍,一般物理内存不到2G的通常都设置为2倍)
- 找个代理的ip,项目中有些组价需要通过github下载,或者其他加快github下载速度的都可以
服务器环境配置
- 安装git(yum安装)
yum install -y git
- 注意在接下来的安装是有顺序的,要安装cmake之前需先安装cmake所需的依赖(gcc等等)
- 安装 cmake的前提
yum install -y gcc gcc-c++ make automake
- 接下来编译安装cmake 3.3
wget https://cmake.org/files/v3.3/cmake-3.3.2.tar.gz
tar -zxvf cmake-3.3.2.tar.gz
- 进入解压完的目录
cd cmake-3.3.2/
- 接下来的操作:设置,编译,安装
./bootstrap
gmake
gmake install
- 安装bison(此处安装bsion没有顺序)
yum install -y bison
- 安装vim(根据个人喜好)
yum install -y vim
安装jdk(jdk的版本>=1.8)
- 下载jdk压缩包
wget http://anyq.bj.bcebos.com/jdk-8u171-linux-x64.tar.gz
- 解压
tar xzvf jdk-8u171-linux-x64.tar.gz
- 配置环境变量
vim /etc/profile
(如果没有vim 可以换成vi)- 下面是需要添加的内容
export JAVA_HOME=/home/jdk8/jdk1.8.0_171/
(注意这里的地址换成自己的jdk的地址)export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin;
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
- 退出并保存
- 然后重启
reboot
(也可以手动重启)
重点来了 搭建AnyQ
- 克隆AnyQ
git clone https://github.com/baidu/AnyQ.git
(也可以替换成码云的地址,自己去找)- 进入文件
cd AnyQ
- 注意更改CMake Modules 中其中几个配置如下
paddle的版本更改,我查看目前github的paddle版本,找到了0.14.0的版本,需要更改为以下
release/0.14.0 改为 v0.14.0
xgboost 模块的DOWNLOAD_COMMAND 改为如下
DOWNLOAD_COMMAND git clone -b v0.90 --recursive https://github.com/dmlc/xgboost.git
其中还有两个模块的下载地址可能过于缓慢
boost模快,可以先把这个模块的文件下载下来,然后放到服务器上,然后将配置更改成自己的下载地址
curl模块和boost模块类同
- 创建输出文件并进入输出文件
mkdir build && cd build
- 生成并编译项目
cmake ..
make
(可以连在一起也可以分开执行,分开执行好处可以在编译之前,先开启代理)- 编辑的时间较长,毕竟编译完成将近6个G的文件所以还是需要等等的
- 编译完成之后会生成 run_server 启动文件(若没有则表示编译失败,注意OpenCv的编译所需要的内存,大部分都是这个错误,如果物理内存不够的话,会去找虚拟内存,虚拟内存也不够就会编译失败)
- 获取anyq定制solr,anyq示例配置
cp ../tools/anyq_deps.sh .
sh anyq_deps.sh
等待下载完成
启动solr, 依赖python-json, jdk>=1.8
cp ../tools/solr -rp solr_script
sh solr_script/anyq_solr.sh solr_script/sample_docs
后续更改了配置以后可以不用在重新生成,可以采用如下命令重启
sh solr_script/solr_deply.sh start solr-4.10.3-anyq 8900
(端口号可以自己更改)
启动服务
./run_server
也可以自己更改服务的监听的端口号默认是8999,可以自己在rpc的配置文件中更改默认端口号。
后续会出一期支持导入mysql数据模块,好了暂告一段落。