环境: django + scrapy
django环境:pycharm + python3.8.5 + pip3 + django
数据库:postgresql12.4
python 3.8.5
虚拟环境 workon
运行环境
pycharm
运行和调试工具 有自己够买过的版本 够用了
pip3 -V
安装框架 django 在创建项目时 就已经下载了最新版本,其他的框架 在调试时候 逐个增加,比如scrapy
postgresql 12.4 -V
PostgreSQL数据库默认用户postgres的密码
修改PostgreSQL数据库默认用户postgres的密码
PostgreSQL数据库创建一个postgres用户作为数据库的管理员,密码随机,所以需要修改密码,方式如下:
步骤一:登录PostgreSQL
1
sudo -u postgres psql
步骤二:修改登录PostgreSQL密码
1
ALTER USER postgres WITH PASSWORD ‘postgres’;
注:
密码postgres要用引号引起来
命令最后有分号
步骤三:退出PostgreSQL客户端
\q
保持数据
对于之前的数据,如果表结构相同,可以采用导出导入的功能,把数据完整的复制过去,工具使用pgadmin4
pgadmin4 ubuntu20.04安装postgresql12及pgadmin4
需要查看 需要新增用户 新增库
django3.2
做数据的保持和查询
在pycharm中创建新项目 选择框架 django (直接安装最新版本), 依赖选择之前创建虚拟 环境 app 可以先输入一个或多个,在这里 我是输入的一个,项目的名称在
scrapy的目录位置进行修改设置,项目创建后,可以进行调试,然后逐个的排除问题
通过调试 指导项目顺利通过
再后期 可以增加爬取的网站 也可以把爬虫 部署到专业服务端