ubuntu20.04 安装scrapy

环境： django + scrapy
django环境：pycharm + python3.8.5 + pip3 + django
数据库：postgresql12.4

python 3.8.5
虚拟环境 workon
运行环境
pycharm
运行和调试工具 有自己够买过的版本 够用了
pip3 -V
安装框架 django 在创建项目时 就已经下载了最新版本，其他的框架 在调试时候 逐个增加，比如scrapy
postgresql 12.4 -V
PostgreSQL数据库默认用户postgres的密码

    修改PostgreSQL数据库默认用户postgres的密码

PostgreSQL数据库创建一个postgres用户作为数据库的管理员，密码随机，所以需要修改密码，方式如下：
步骤一：登录PostgreSQL
1
sudo -u postgres psql
步骤二：修改登录PostgreSQL密码
1
ALTER USER postgres WITH PASSWORD ‘postgres’;
注：
密码postgres要用引号引起来
命令最后有分号
步骤三：退出PostgreSQL客户端
\q

保持数据
对于之前的数据，如果表结构相同，可以采用导出导入的功能，把数据完整的复制过去，工具使用pgadmin4

pgadmin4 ubuntu20.04安装postgresql12及pgadmin4
需要查看 需要新增用户 新增库
django3.2
做数据的保持和查询
在pycharm中创建新项目 选择框架 django (直接安装最新版本), 依赖选择之前创建虚拟 环境 app 可以先输入一个或多个，在这里 我是输入的一个，项目的名称在
scrapy的目录位置进行修改设置，项目创建后，可以进行调试，然后逐个的排除问题

通过调试 指导项目顺利通过
再后期 可以增加爬取的网站 也可以把爬虫 部署到专业服务端