推荐系统-安装Python开发环境(二)

由于需要使用提供 HTTP 服务，所以先安装了 FLASK 框架（可选）

一、安装 Flask 框架（可选）

1. 虚拟环境
建议在开发环境和生产环境下都使用虚拟环境来管理项目的依赖。

为什么要使用虚拟环境？随着你的 Python 项目越来越多，你会发现不同的项目 会需要不同的版本的 Python 库。同一个 Python 库的不同版本可能不兼容。

虚拟环境可以为每一个项目安装独立的 Python 库，这样就可以隔离不同项目之 间的 Python 库，也可以隔离项目与操作系统之间的 Python 库。

Python 内置了用于创建虚拟环境的 venv 模块。

2. 创建一个虚拟环境安装 Flask
创建一个项目文件夹，然后创建一个虚拟环境。创建完成后项目文件夹中会有一个 venv 文件夹

# 创建项目根目录
$ mkdir recommend
# 进入根目录
$ cd recommend
# 创建虚拟环境
$ python3 -m venv venv
# 安装 Flask
$ pip3 install Flask

二、安装 SPARK

依赖 java1.8环境，若无则先安装

访问 Spark 官网下载 下载需要的版本

# 解压到安装目录并改名为spark
sudo mv spark-3.2.0-bin-hadoop3.2.tgz /usr/local
sudo tar -zvxf  spark-3.2.0-bin-hadoop3.2.tgz
sudo mv spark-3.2.0-bin-hadoop3.2 spark
# 配置环境变量
sudo vim ~/.bash_profile
# 添加Spark命令路径
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
# 默认情况下spark 内置的 python 版本为2, 改为使用 python3
export PYSPARK_PYTHON=python3
# PYTHONPATH是Python搜索路径，默认我们import的模块都会从PYTHONPATH里面寻找
# py4j-0.10.7-src.zip 根据下载的版本中实际文件名版本设置
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.9.2-src.zip:$PYTHONPATH
export PATH=$SPARK_HOME/python:$PATH

# 加载配置
source ~/.bash_profile

二、安装 pyspark

# 安装pyspark, pyspark 是 Spark 为 Python 开发者提供的 API
pip3 install pyspark
# 安装 numpy 库, Numpy是科学计算库, 机器学习算法中大部分都是调用Numpy库来完成基础数值计算
pip3 install numpy

三、启动 pyspark

pyspark

问题
在启动 pyspark 时发现 WARING: WARN NativeCodeLoader: Unable to load native-hadoop library for your platform.