爬虫相关环境的搭建

1、python环境安装

打开Python 官网,选择Download下Windows:
在这里插入图片描述
点击Windows后,滑动页面选择 3.7.6 版本下载(因为3.7.6版本目前性能各方面最稳定,所以推荐下载该版本)
下载完成后看到安装包:
在这里插入图片描述
双击打开,进行安装:
在这里插入图片描述
安装完成后点击cancel关闭界面:
在这里插入图片描述
而后,按win+r,在对话框中输入cmd:
在这里插入图片描述
然后再对话框中输入python:
在这里插入图片描述
出现这样的内容则安装成功,如果没有出现则安装失败,可以在开始菜单里打开控制面板进行卸载并重装。

2、requests库安装

python安装完成后需要进行环境的配置,注意安装完毕后 Python,pycharm 以及pycharm中的项目 各自是一个文件 不能共用一个文件夹。
按win+r,输入命令提示符(cmd),回车后输入pip install requests,进行requests库安装:
在这里插入图片描述
安装会自动进行,完成之后打开pycharm选择file,点即setting…:
在这里插入图片描述
点击后再依次点击project,project interpreter,右上角设置,Add…(此项不在以下截图中)
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
不知道python的安装位置可以win+r,在终端输入where python:
在这里插入图片描述
将第一个位置复制进去,然后全部点ok 就可以了。

在这里插入图片描述

最后会出现这个界面,点击最左侧就可以,没有出现的不管。到此为止,requests库安装完毕。

3、BeautifulSoup 模块安装

在命令提示符(win + R 之后弹出运行,输入 cmd)内运行代码 pip install bs4
计算机会自动进行安装:
在这里插入图片描述
安装结束后会有提示(由于之前已经安装过,所以显示会有所不同)

4、安装openpyxl 模块

openpyxl模块应用于将爬取内容保存至.xlsx表格中。保存数据是爬取数据之后的重要一步。
安装方法:
1.点击win+r,输入cmd并确认
2.输入pip install openpyxl
3.按下 enter 键
在这里插入图片描述

5.安装selenium模块

selenium模块可以用几行代码,控制浏览器,做出自动打开、输入、点击等操作,就像是有一个真正的用户在操作。
安装方法:
1.win+r,输入cmd并确认
2.输入pip install selenium
3.按下enter键等待:
在这里插入图片描述
安装成功。

6.Chrome 浏览器驱动安装

首先打开谷歌浏览器:
在这里插入图片描述依次点击右上角,帮助,关于Google Chrome,查看当前浏览器版本,然后打开网站,找到当前版本对应的蓝色字样并点击(如果没有就选择最接近当前版本的),Windows系统下载win32即可。
下载完成后,将内容解压,放到.py文件存放的位置即可。

7.安装schedule模块

schedule模块主要的功能是帮我们实现定时,虽然标准库的time 和 datetime也都可以实现定时功能,但schedule库可以更简单的实现。
安装方法:
1.win+r,输入cmd并确认
2.输入pip install schedule
3.按下enter键等待:
在这里插入图片描述
安装成功。

8.安装gevent库

gevent库的功能是实现多携程用法,可以在一次爬取网页很多的时候大大提升爬取效率。
安装方法:
1.win+r,输入cmd并确认
2.输入pip install gevent
3.按下enter键等待:
在这里插入图片描述
安装完成。

9.安装Scrapy

Scrapy框架可以自动实现数据的提取、解析、存储等功能,可以很大程度上降低抒写代码的难度。
安装方法:
1.win+r,输入cmd并确认
2.输入pip install scrapy
3.按下enter键等待:
这个过程比较漫长,需要我们多登上几分钟。
在这里插入图片描述
安装完成。
但是,安装Scrapy的过程中可能会出现报错的情况,不过遇到一大堆红色字样的小伙伴不用太担心,因为红色字样的末尾会给我们解决方法,比如我的安装过程就出现了报错,但是结尾给了我一句这样的提示:

You should consider upgrading via the ‘python -m pip install --upgrade
pip’ command.

这句话的意思是:您应该考虑通过’python -m pip install——upgrade pip’命令进行升级。那么,我们把这个引号中的内容复制下来,然后粘贴到命令行,或者关掉重新点击win+r输入cmd,然后粘贴指令并回车:
在这里插入图片描述
升级完成之后,重新输入刚才的pip install scrapy,再进行安装:
在这里插入图片描述
到这里,scrapy就安装完成了。

  • 0
    点赞
  • 35
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值