编译ray记录

查看版本python
1.linux的软连接存放位置
cd /usr/bin
2.查看现有python的软连接指向的版本
ls -al python

一.安装python
参考https://www.cnblogs.com/knighterrant/p/10719887.html

1. wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz
2. tar -zxvf Python-3.6.6.tgz
3. cd Python-3.6.6
4. ./configure --prefix=/opt/python36
5. sudo make
6. sudo make install
   sudo make install 报错时,极大概率需执行
   sudo apt-get install libffi-dev
7. 添加软连接
   ln -s /opt/python36/bin/python3.6 /usr/bin/python
8. 将python加入环境变量，注意python应该在最前面
   export PATH=/opt/python36/bin:$PATH
   source ~/.bashrc
   注意不要轻易修改python3的软链接，可能出现terminal打不开的情况

二.使用bazel（Google设计的编译工具）编译

1. 为何编译

ray是一个大型项目，包含python和C++部分，python部分不需要编译，C++部分修改后需要重新编译，使用bazel（Google设计的编译工具）编译。

2. bazel安装

bazel 一定要是3.2.0 才可以build，最好使用这里的binary installer https://docs.bazel.build/versions/main/install-ubuntu.html

安装好bazel后，要把$HOME/bin 加入 PATH（~/.bashrc）

3. 具体的编译

python 版本可以是3.6 到 3.9的任意版本

打开ray/python目录，有两种编译方式：

（1）bazel build -c fastbuild //:*

（2）bazel build -c fastbuild //:ray_pkg

如果老失败的话，在build后面加 --jobs=1，这样能限制内存，但时间会拉长

执行 pip install -e . --verbose  --user （只需执行一次）

扩展swap
#生成swap镜像文件
sudo dd if=/dev/zero of=/mnt/1024Mb.swap bs=1M count=1024
对该镜像文件格式化
sudo mkswap /mnt/1024Mb.swap
#挂载该镜像文件
sudo swapon /mnt/1024Mb.swap

ray start --head --resources=’{“latency”:40}’

学长给的注意事项：

1. python 版本可以是3.6 到 3.9的任意版本
2. bazel 一定要是3.2.0 才可以build，最好使用这里的binary installer https://docs.bazel.build/versions/main/install-ubuntu.html#install-with-installer-ubuntu
3. 安装好bazel后，要把$HOME/bin 加入 PATH
4. 至少8G内存加上4-8G的SWAP，要不然在build过程中gcc会内存不足退出
5. 因为gcc11使用了c++17标准作为默认std，基于c++17的build会发生错误，所以系统中的gcc最大版本不能超过10
6. 在线文档里面的pip install -e . --verbose 会使用python setuptools进行编译，这个过程包括了python部分和c++部分，所以运行完这一行语句以后，不需要再额外运行bazel build了
7. bazel在开始build的时候会需要去github上下载很多dependency，大概率会被墙，所以最好解决方案是开一个全局vpn（OpenVPN或者wireguard）
   OpenVPN参考： https://donggan.me/post/install-openvpn-on-ubuntu-in-3min/
8. 默认使用4个CPU Core 进行构建，编译时间大概需要25-30分钟左右

三. 下载ray源码 ray5.1

调试的话用RAY_LOG(INFO)，会在/tmp/ray/sessions_latest/logs里面的raylet.n.out中打印出来，每次ray stop之后再ray start都会新建一个文件，也就是n+1