爬虫学习（第三天）--------初识scrapy

一.环境的配置与搭建

1.虚拟环境的安装和配置

1).安装

pip install virtualenv

2).创建一个虚拟环境

i).简单使用

virtualenv + 文件夹名

okey，出现上图就说明创建完成了

PS：写一下怎么在某一文件下创建

在当前文件夹上的导航栏上输cmd即可：如下图

ii).使用

ok啊，文件夹创建完成了，那么我们该如何使用呢，首先进入文件夹

1.cd 虚拟环境所在文件的上一级文件夹(也可以直接进入再cmd)
2.cd Scripts
3.activate.bat
4.python   
# 运行完成

Ctrl+z 退出python环境
deactivate.bat 退出虚拟环境

当前面出现（你创建的文件夹名）这样一个括号即进入成功，如下图：

接着按照顺序操作就可以使用了

iii).指定python版本创建

virtualenv + 文件夹名 + -p +自己python本体所在的绝对路径

其他创建方式可以以参考：

1.【Python】创建虚拟环境的四种方式（venv | pipenv | conda | poetry）_python创建虚拟环境-CSDN博客

2.

python多环境管理（venv与virtualenv） - doublexi - 博客园 (cnblogs.com)

3.官方文档

venv --- 虚拟环境的创建 — Python 3.12.4 文档

2.scrapy安装与配置

pip install scrapy

二.scrapy简单使用

PS：为什么要使用虚拟环境（ai版）

使用虚拟环境（如 Python 的 virtualenv 或 conda）在软件开发中是一个非常重要的
实践，主要有以下几个原因：

1.隔离项目依赖：
不同项目可能依赖不同版本的库或包。如果没有虚拟环境，你可能会遇到版本冲突的问题，
这可能导致一个项目正常工作，而另一个项目因为依赖库的版本问题而无法运行。
虚拟环境允许你为每个项目创建一个独立的Python环境，每个环境都有其自己的库和包版本，
从而避免了版本冲突。

2.易于管理：
你可以轻松地为每个项目安装所需的库和包，而无需担心它们会干扰其他项目。
你可以轻松地在不同项目之间切换，因为每个项目都有自己的环境。

3.可复制性：
虚拟环境允许你创建一个项目的“快照”，其中包含了所有必要的库和包以及它们的版本。这使得
你可以轻松地将项目复制到另一台机器上，并确保它在没有安装额外依赖项的情况下运行。
你可以使用 requirements.txt（对于 virtualenv）或 environment.yml（对于 conda）
文件来列出项目所需的所有依赖项，从而轻松地与其他人共享项目设置。

4.安全性：
在虚拟环境中运行代码可以减少对系统级Python环境的潜在破坏。如果某个库或包包含恶意代码
或漏洞，它只会影响该虚拟环境，而不是整个系统。

5.灵活性：
你可以为每个项目选择不同的Python版本。例如，一个项目可能需要Python 3.6，而另一个项目
可能需要Python 3.8。使用虚拟环境，你可以轻松地在这些版本之间切换。

6.简化持续集成/持续部署（CI/CD）流程：
在CI/CD流程中，使用虚拟环境可以确保测试和生产环境的一致性，因为它们都基于相同的依赖项
和库版本。

7.避免权限问题：
在某些系统上，全局安装Python包可能需要特定的权限（如root或管理员权限）。使用虚拟环境
可以避免这些权限问题，因为你可以在用户级别安装所需的库和包。
总之，使用虚拟环境可以提高项目管理的效率、可复制性和安全性，是软件开发中的一项重要实践。

1.创建

1).进入虚拟环境

镜像源

 https://pypi.tuna.tsinghua.edu.cn/simple

安装脚手架

pip install wheel
pip install lxml
pip install pywin32

 安装scrapy

2).创建

scrapy startproject 文件名

如图创建成功

然后按照他给提示接着操作

这样我们的第一个爬虫框架就出来了，用pycharm打开

出现上图及操作成功