python 实现简单爬虫

最新推荐文章于 2024-08-17 20:45:04 发布

张某某。paranoia

最新推荐文章于 2024-08-17 20:45:04 发布

阅读量763

点赞数

分类专栏： python学习

本文链接：https://blog.csdn.net/paranior/article/details/88050692

版权

python学习专栏收录该内容

13 篇文章 0 订阅

订阅专栏

此文是学习爬虫实例的过程中所做的课程笔记。

一.爬虫：

一段自动抓取互联网信息的程序。

通常使用人工的方法获取感兴趣的信息，但耗时长，效率低。爬虫即从感兴趣的url出发，访问所有关联的url，并从每个页面中提取有价值的信息。

其价值在于：将互联网的数据为我所用。

二.简单的爬虫架构：

1.爬虫调度端：用以启动爬虫，关闭爬虫，和监视其运行情况。

2.爬虫主要有三部分：

（1）URL管理器：对已经爬过的URL的管理以及对还未爬的URL的管理。

（2）网页下载器：我们可以从待爬取的url中选取一个将其传送给网页下载器，网页下载器会将URL指定的网页下载下来，产生一个字符串，并将上面的字符串传送给网页解析器。

（3）网页解析器：对接收到的字符串进行解析，一方面，会解析出有价值的数据，另一方面，会解析出其他关联的URL，补充进URL管理器。

3.简单爬虫架构的运行流程：

三.URL管理器--------管理待抓取URL集合和已抓取URL集合

作用：为了防止重复抓取以及循环抓取

功能：

实现方式：

（1）将待爬取URL集合与已爬取URL集合，使用python的 set()集合（去重），存储在python内存中。

（2）使用关系型数据库，例如Mysql，存储为形如：urls（url，is_crawled）

（3）使用缓存数据库中，redis，将待爬取URL集合与已爬取URL集合，使用set()集合。

四.网页下载器-------将互联网上URL对应的网页下载到本地的工具

python的几种网页下载器：

（1）urllib2------python官方基础模块：支持直接的url下载，或者是向网页提交一些需要用户输入的数据，以及需要用户登录的cookie处理和需要代理访问的代理处理等增强功能。

①最简洁的下载网页的方法：

②添加data（需要用户输入的数据）， http header（网页的头信息）

代码：

③添加特殊情景的处理器：

有些网页需要用户登录才能访问，添加：HttpCookieProcessor

有些网页需要代理才能访问，添加：ProxyHandler

还有些网页是使用https加密访问的，添加：HTTPSHandler

有些网页它们的URL是自动的跳转关系，添加：HTTPRedirectHandler

从而使得urllib2有了处理这些场景的能力。

代码（例如：添加cookie的处理）

实例代码：

#coding:utf-8
import urllib.request
import urllib.error
import http.cookiejar

url="http://www.baidu.com"

print('第一种方法')
#Python 3 将urllib2 与urllib 合为了urllib了，需要使用urllib2 时写为 urllib.request
response1 = urllib.request.urlopen(url)
print(response1.getcode())
print(len(response1.read()))

print('第二种方法')
request=urllib.request.Request(url)
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print(len(response2.read()))

print('第三种方法')
#Python 3 将 cookielib 改成 http.cookiejar了，所以只要改成import http.cookiejar就自动导入cookiejar了
cj=http.cookiejar.CookieJar()
opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(cj)
print(response3.read())

运行结果：

（2）requests------第三方插件：可以提供更为强大的功能。

五.网页解析器-------从网页中提取有价值数据的工具

python的几种网页解析器：

（1）正则表达式：将整个网页/文档当成一个字符串，再使用模糊匹配的方式提取出有价值的数据。这种方法优点是比较直观，但文档比较复杂的情况下，会非常的繁琐。

（2）html.parser:是python自带的一个模块，可以用以解析网页。

（3)Beautiful Soup:第三方插件，用于从html以及xml中提取数据。

（4）lxml：第三方插件，用以解析html网页和xml网页。

“结构化解析”：即将整个网页文档下载成一个DOM（Document Object Model)的树的形式进行上下级的联系与访问。首先将整个文档当成一个document对象，过程如下。

1.安装并测试 beautiful soup

由于我使用的是python3.7的版本，很多对第三方插件的要求发生了变化。必须使用4.4及以上的bs4版本，否则容易出现问题，此外，可能需要手动将bs4移入项目解释器列表中，否则会发生命令行验证没有问题，但pycharm报错（没有bs4模块）的问题。

2.beautiful soup的语法：

HTML网页——>创建Beautiful Soup对象（同时生成dom树）——>对DOM树进行搜索节点：find_all（搜索出所有满足要求的节点）与find方法（只搜索出第一个满足要求的节点）【分别按照节点的名称，属性，文字搜索】——>访问节点的名称，属性，文字

（1）创建BeautifulSoup 对象：

（2）搜索节点（find_all,find）

（3）访问节点信息：

3.Beautiful Soup实例测试：

import re
from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

soup=BeautifulSoup(html_doc,'html.parser')

print('获取所有的链接')
links=soup.find_all('a')
for link in links:
    print(link.name,link['href'],link.get_text())

print('获取Lacie 的url的链接')
link_node=soup.find('a',href='http://example.com/lacie')
print(link_node.name, link_node['href'], link_node.get_text())

print('使用正则匹配进行模糊匹配')
link_node=soup.find('a',href=re.compile(r"ill"))
print(link_node.name, link_node['href'], link_node.get_text())

print('获取段落文字')
p_node=soup.find('p',class_="title")
print(p_node.name, p_node.get_text())

运行结果：