python爬虫之爬取段子网代码和笔记
首先段子网的url地址为https://duanziwang.com/page/1/,其后面每翻一页,page后的数字会随着变化,每次翻页会数字会增加1,通过这个规律我们可以解析url变化的规律。
可以通过以下代码来表示前10页的url地址:
通过for循环遍历1到10页内容,.format(i)是拼接url地址的方法。
下一步是访问段子网的地址,通过requests.get方法进行访问。代码如下:
上图是访问url地址的代码,通过写入headers可以防止主机ip被封的风险,status_code为返回的响应的状态码,当等于200时,说明访问成功。
下一步进行解析返回的html。
本次我采用xpath方法进行解析,在进行解析前,在自己的电脑上要先安装好lxml库文件,具体安装方法是打开pycharm中的terminal,在其中输入pip install --user lxml进行安装,如果安装不了,则可以去http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml网站上下载相应的wheel文件进行安装。
解析程序如下所示:
xpath返回的是一个列表形式,通过进行选择其中的位置,可以把内容变成str形式,我这里用了dic建立了一个字典形式,是为了方便后面我采用json方式进行数据存储。
下一步是数据存储,这里我才用的是json方法进行存储。
json是通过对象和数组的组合来表示数据,构造简洁但是结构化程度非常高,是一种轻量级的数据交换格式。
保存数据的程序段如下:
a表示写入的数据是连续存入的,不会覆盖掉前面所储存的数据,encoding和ensure_ascii=False是为了让存储的数据是中文。
此刻,需要注意的是,要保存json形式的数据,必须要是列表内包含字典形式的数据,例如[{‘title’:title}]这样的数据,其他形式会报错。
这样,段子网就爬取完成了。完整代码如下所示:
from lxml import etree
import requests
import time
import json
def get_one_page(url):
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}
response = requests.get(url=url, headers=headers)
if response.status_code == 200:
return response.text
return None
def parse_one_page(content):
list = []
tree = etree.HTML(content)
pages = tree.xpath('.//main[@class="col-md-8 main-content"]/article')
for page in pages:
title = page.xpath('.//h1[@class="post-title"]/a/text()')[0]
time = page.xpath('.//time[@class="post-date"]/text()')[0]
hot = page.xpath('.//time[@class="post-date"]/text()')[1]
content1 = page.xpath('.//div[@class="post-content"]/pre/code/text()')[0].strip()
dic = {'title':title,
'time':time,
'hot':hot,
'content':content1}
list.append(dic)
return list
def write_one_page(item):
with open('./duanzi.json', 'a', encoding='utf-8') as f:
f.write(json.dumps(item, ensure_ascii=False)+'\n')
f.close()
def main():
for i in range(1, 10):
url = 'https://duanziwang.com/page/{}/'.format(i)
html = get_one_page(url)
items = parse_one_page(html)
for item in items:
write_one_page(item)
time.sleep(1)
if __name__ == '__main__':
main()
以上内容是本人自己所写,如有雷同或者错误,请指正。谢谢!