一、python3 爬虫环境搭建之 Anaconda 和 Scrapy

最新推荐文章于 2024-09-24 08:17:06 发布

supercrys

最新推荐文章于 2024-09-24 08:17:06 发布

阅读量1.2w

点赞数 5

分类专栏： python3 爬虫文章标签： Anaconda Scrapy Windows10 conda install -c conda-forge s

本文链接：https://blog.csdn.net/crysdem/article/details/80112709

版权

本文介绍了在Windows 10上使用Anaconda搭建Python3爬虫环境的详细步骤，包括Anaconda的安装、环境配置，以及如何通过conda解决Scrapy安装中遇到的问题。

摘要由CSDN通过智能技术生成

python3 只是爬虫开发的编程语言，开发爬虫还需要很多其他环境，比如 IDE 工具，常用库等等. 根据我的使用体验，推荐如下环境搭建步骤，桌面环境为 Windows 10.

安装 Anaconda

Anaconda 是一个集成度很高的基于 python 的数据科学平台，无论在开发爬虫还是机器学习等方面，都游刃有余. Anaconda 包含 250 多个数据科学包和自带的包管理工具 conda，一行命令就可以轻松安装绝大部分依赖库，比如 Scikit-Learn, Scipy, Tensorflow 等.

Anaconda 的下载地址

安装这个软件跟着提示走就可以，唯一要注意的地方就是软件的安装目录最好是英文的，并且不能有空格. 安装好后找到如下图所示三个图标.

比较常用的就是这三个应用了， Anaconda 在安装好后已经为我们配好了自己的系统环境和 python3 的环境，通常安装依赖的话只需要在命令行终端 Anaconda Prompt 直接执行 conda 命令就好.

比如，可以使用下面的命令查看当前配置的环境路径：

>conda env list
# conda environments:
#
base                  *  D:\ProgramFiles\Anaconda

使用下面的命令查看不同路径下的 python：

>where python
D:\ProgramFiles\Anaconda\python.exe

查看当前使用的 python 的版本信息：

>python --version
Python 3.6.3 :: Anaconda custom (64-bit)

查看当前环境下已经安装好的包：

>conda list
# packages in environment at D:\ProgramFiles\Anaconda:
#
# Name                    Version                   Build  Channel
_ipyw_jlab_nb_ext_conf    0.1.0            py36he6757f0_0
alabaster                 0.7.10           py36hcd07829_0
anaconda                  custom           py36h363777c_0
anaconda-client           1.6.14                   py36_0
anaconda-navigator        1.8.3                    py36_0
anaconda-project          0.8.0            py36h8b3bf89_0
asn1crypto                0.22.0           py36h8e79faa_1
astroid                   1.5.3            py36h9d85297_0
astropy                   2.0.2            py36h06391c4_4
babel                     2.5.0            py36h35444c1_0
backports                 1.0              py36h81696a8_1
backports.shutil_get_terminal_size 1.0.0            py36h79ab834_2
beautifulsoup4            4.6.0            py36hd4cc5e8_1
bitarray                  0.8.1            py36h6af124b_0
bkcharts                  0.2              py36h7e685f7_0
blaze                     0.11.3           py36h8a29ca5_0
bleach                    2.0.0            py36h0a7e3d6_0
bokeh                     0.12.10          py36h0be3b39_0
boto                      2.48.0           py36h1a776d2_1
bottleneck                1.2.1            py36hd119dfa_0
bzip2                     1.0.6            vc14hdec8e7a_1  [vc14]
ca-certificates           2017.08.26           h94faf87_0
cachecontrol              0.12.3           py36hfe50d7b_0
certifi                   2017.7.27.1      py36h043bc9e_0
cffi                      1.10.0           py36hae3d1b5_1
chardet                   3.0.4            py36h420ce6e_1
click                     6.7              py36hec8c647_0
cloudpickle               0.4.0            py36h639d8dc_0
clyent                    1.2.2            py36hb10d595_1
colorama                  0.3.9            py36h029ae33_0
comtypes                  1.1.2            py36heb9b3d1_0
conda                     4.5.1                    py36_0
conda-build               3.0.27           py36h309a530_0
conda-env                 2.6.0                h36134e3_1
conda-verify              2.0.0            py36h065de53_0
console_shortcut          0.1.1                h6bb2dd7_3
contextlib2               0.5.5            py36he5d52c0_0
cryptography              2.0.3            py36h123decb_1
curl                      7.55.1           vc14hdaba4a4_3  [vc14]
cycler                    0.10.0           py36h009560c_0
cython                    0.26.1           py36h18049ac_0
cytoolz                   0.8.2            py36h547e66e_0
dask