html简单静态网页实例_python爬虫系列简单静态网页爬取1

不点蓝字，我们哪来故事？

本篇文章讲述python爬虫如何爬取静态网页内容。 思路：

• 通过requests库获取网页内容

• 通过其他库解析网页来提取所需要的内容

• 保存

我们以笔趣阁小说章节url为例

首先分步实现

• 获取网页内容

import requestsurl = 'http://www.biquge.info/10_10582/'source_page = requests.get(url).content.decode('utf-8')#使用requests中的get方法获取网页内容

• 解析网页，本篇通过xpath来解析

from lxml import etreehtml = etree.HTML(source_page)#格式化网页title = html.xpath('//*[@id="list"]/dl/dd/a/text()')urls = html.xpath('//*[@id="list"]/dl/dd/a/@href')#使用xpath解析，可以在网页中右键检查，选择好内容后右键>复制>复制xpath

• 保存

  本篇保存为csv文件

import csvrows = zip(title,urls)#使用zip()将两个等长的列表合并为一个列表，元素为元组headers = ['title','url']with open('art.csv','w+') as f:    write = csv.writer(f)    write.writerow(headers)    write.writerows(rows)

分步完成，合成：

import requestsfrom lxml import etreeimport csv# data_write('www.xls','dadswad')url = 'http://www.biquge.info/10_10582/'source_page = requests.get(url).content.decode('utf-8')html = etree.HTML(source_page)title = html.xpath('//*[@id="list"]/dl/dd/a/text()')urls = html.xpath('//*[@id="list"]/dl/dd/a/@href')rows = zip(title,urls)headers = ['title','url']with open('art.csv','w+') as f:    write = csv.writer(f)    write.writerow(headers)    write.writerows(rows)

至此，一个简单的静态网页爬虫就写好了。下篇讲述如何爬取小说内容。我也是一个爬虫学习者，大家有什么问题、建议、指导可以从公众号直接反馈，一起学习进步。好文！必须在看