Python爬虫教程

Python爬虫教程

Python爬虫主要分为四步：发送请求——获得页面——解析页面——抽取并存储内容

环境安装及配置

使用PyCharm进行爬虫。

创建一个新的项目

首先创建一个新的项目New Project，选择Pure Python，选择Location，即整个爬虫项目在电脑中的位置，选一个自己记得住的全英文路径即可(如E:\pythonLearning\Demo\demo1)。

鼠标选中项目名，右键创建Python File，输入文件名字（比如demo1），回车就创建啦。

安装爬虫需要的依赖包

接下来要安装爬虫需要的依赖包，有bs4、re、urllib、xlwt、sqlite这些我们需要的库。其中re和sqlite库Python已经为我们预安装好了，所以只需要安装剩下的三个就可以啦。安装步骤如下：

1. 点击主界面左上角的File，选择下面的settings
2. settings中，点击左侧的Project: demo1（demo1是创建的项目名字），点击下面的Project Interpreter。

 
 

1. 首先要确认上面Python的位置是我们创建的项目的位置
2. 然后点击右边的加号+，输入我们要下载的依赖包名urllib3，点击左下角的Install Package就可以啦，依次点击右上角的x，和下面的ok就可以回到主界面了，等待依赖包下载完成。

5.在主界面的最下面有个进度条，会告诉你依赖包下载的进度。如果下载失败了，可以回到上方图片的页面，点击MangeRepositories，点击右上角的加号+，添加网址http://mirrors.aliyun.com/pypi/simple/。然后重新输入依赖包名称，再下载就可以啦。

6.重复上面的步骤，下载bs4、xlwt依赖包。