【Scrapy + Elasticsearch 搜索引擎实战】（一）准备工作

一、安装 Python

Python

# 在 usr 目录下创建 python 目录
mkdir usr/python
# 切换到 python 目录
cd python
# 下载 Python3.9 压缩包
wget https://www.python.org/ftp/python/3.9.4/Python-3.9.4.tgz
# 解压缩
tar -zxvf Python-3.9.4.tgz
# 切换到 Python-3.9.4 目录
cd Python-3.9.4
# 其他准备工作
yum update -y
yum groupinstall -y 'Development Tools'
yum install -y gcc openssl-devel bzip2-devel libffi-devel
# 手动编译
## 配置安装路径
./configure prefix=/usr/local/python3 
## 编译与安装
make && make install
#添加软链接 
ln -s /usr/local/python3/bin/python3.9 /usr/bin/python
ln -s /usr/local/python3/bin/pip3.9 /usr/bin/pip
#测试是否安装成功了 
python -V
# 安装完成，查看Python版本

二、安装 Scrapy

Scrapy 是一个开源的爬虫框架。

pip install scrapy

三、安装 Elasticsearch

Elasticsearch 是一个分布式搜索和数据分析引擎。

准备工作

# 安装 perl-Digest-SHA
yum install perl-Digest-SHA

安装

# 在 usr 目录下创建 elasticsearch 目录
mkdir elasticsearch
# 切换到 elasticsearch 目录
cd elasticsearch
# 下载 elasticsearch
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.0-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.0-linux-x86_64.tar.gz.sha512
# 校验
shasum -a 512 -c elasticsearch-7.12.0-linux-x86_64.tar.gz.sha512
# 解压缩
tar -xzf elasticsearch-7.12.0-linux-x86_64.tar.gz

es5之后不允许root用户启动，需要切换到非root用户

# 创建用户
adduser elasticsearch