python爬虫教程大全_python爬虫入门教程

爬虫是一个是一个好玩的技术，偷偷爬取mm的照片，爬取知乎用户头像等等，这些教程经验帖在网上随便一搜，到处都是；那么今天小编将给大家简单讲讲python爬虫的入门。鉴于经验排版模式有限，所以这里只能简单的介绍，如有详情可以私下交流。

工具/原料

一台能上网的电脑

Python

步骤一：python的下载

1

python爬虫，首先需要本地电脑上安装有python，这里我简单说一下python的安装，我相信学爬虫的同学们肯定有一定的python基础了。

2

首先，进入到python官网，你可以直接输入python主页，也可以从百度搜索框进入到python的主页，这里方法很多，我不在一一例举了，然后在主页上面可以看见Downloads字样，点击下载，然后跳转出下载界面。

3

跳转出python下载界面，选择一个版本进行下载，这里的我3.X和2.7.X版本的差别还是蛮大的，这里我就不在累赘了，python2.7的支持包要更加全面完善，python3的包扩展可能比较少，但是正在慢慢开发；python2.7预计在202X停止更新了；但是由于小编的习惯，这里我选择的是2.7版本。

4

下载好后，点击安装包，依据提示点击下一步即可，这里相信大家没有任何的问题。

5

安装好后，按windos键加R键，弹出运行窗口，在运行窗口输入cms进入到命令行界面，然后输入python，如果安装成功，即可进入到python交互界面，如果没有则表示python没有安装成功。

END

步骤二：爬虫准备

1

爬虫首先需要做的事情就是要确定好你想要爬取数据的对象，这里我将以百度主页logo图片的地址为例进行讲解。

2

首先，是打开百度主页界面，然后把鼠标移动到主页界面的百度logo图标上面，点击鼠标右键，然后点击审查元素，即可打开开发者界面。

3

然后再下面的界面里面，可以看到该logo图标在HTML里面的排版模式，，这里百度我用字替换了。

END

步骤三：开始爬虫

1

爬虫主要分为两个部分，第一个是网页界面的获取，第二个是网页界面的解析；爬虫的原理是利用代码模拟浏览器访问网站，与浏览器不同的是，爬虫获取到的是网页的源代码，没有了浏览器的翻译效果。

2

首先，我们进行页面获取，python爬虫的话很多模块包提供给开发者直接抓取网页，urllib，urllib2，requests（urllib3）等等，这里我们使用urllib2进行网站页面的获取；首先导入urllib2模块包（该包是默认安装的）：import urllib2

3

导入模块包之后，然后调用urllib2中的urlopen方法链接网站，代码如下repr = urllib2.urlopen("XXXXXX"),XXXXXX代表的是网站名称。

4

得到网站的响应之后，然后就是将页面的源代码读取出来，调用read方法，html = repr.read()

5

获取到页面的源代码之后，然后接下来的工作就是将自己想要的数据从html界面源代码中解析出来，解析界面的模块包有很多，原始的re，好用的BeautifulSoup，以及高大上的lxml等等，这里我就简单的用re介绍介绍，首先导入re模块包：import re

6

然后进行利用re进行搜索，这里我有使用正则表达式，看不懂的同学需去补充点正则表达式方面的知识。

7

然后，我这里就实现了一个简单的爬虫流程，打印url，可以看见刚好就是之前我们看见的百度主页logo的地址。

8

源代码：

import urllib2

repr = urllib2.urlopen("URL")

html = repr.read()

import re

省略一行代码

print url

END

注意事项

爬虫是一个比较深入的领域，这里的我只是讲解了非常非常简单的东西，如果有需要的可以和我深入讨论

希望大家喜欢，多多投票，多多支持

经验内容仅供参考，如果您需解决具体问题(尤其法律、医学等领域)，建议您详细咨询相关领域专业人士。

举报作者声明：本篇经验系本人依照真实经历原创，未经许可，谢绝转载。

展开阅读全部