python3爬取带密码的网站_python3+selenium爬取网站数据

电脑环境：

image.png

Python下载：

https://www.python.org/downloads/release/python-383/

3.X.X需要下载windows XXX executable installer

image.png

下载完成后打开，这里我下载的是3.8.3

image.png

pip 安装与使用

Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。

可以通过以下命令来判断是否已安装：

pip3 --version # Python3.x 版本命令

经过测试2.0的版本命令也是可以用的

pip --version # Python2.x 版本命令

image.png

安装第三方库

在进行爬取数据和解析数据前，需要在Python运行环境中下载安装第三方库requests。

需要先升级pip,否则会出现下图的报错

python -m pip install --upgrade pip

image.png

pip install requests

在Windows系统中，打开cmd界面，在该界面输入pip install requests,按回车键进行安装。

pip3 install pandas

pip3 install numpy

pip3 install bs4

pip3 install lxml

比较省事的办法是安装Anaconda套装

这里安装的，是一个优秀的 Python 软件包管理工具 pipenv

输入代码

我直接使用了自带的IDLE工具

首先执行：

pip install pipenv

安装后，请执行

pipenv install

pip3 install jupyter

此处请确认你的电脑上已经安装了 Google Chrome 浏览器。

pipenv shell

image.png

jupyter notebook

image.png

选择new python3

运行python文件

python D:\code\crawlInfo.py

需要注意的一点python代码一定要顶格写

selenium安装

pip3 install selenium

下载与chrome版本匹配的chromedriver

http://chromedriver.storage.googleapis.com/index.html

我的版本是87.0.4280.66

image.png