爬取段子网并用xpath方法进行解析/json格式进行数据存储

python爬虫之爬取段子网代码和笔记
首先段子网的url地址为https://duanziwang.com/page/1/，其后面每翻一页，page后的数字会随着变化，每次翻页会数字会增加1，通过这个规律我们可以解析url变化的规律。
可以通过以下代码来表示前10页的url地址：

通过for循环遍历1到10页内容，.format（i）是拼接url地址的方法。
下一步是访问段子网的地址，通过requests.get方法进行访问。代码如下：

上图是访问url地址的代码，通过写入headers可以防止主机ip被封的风险，status_code为返回的响应的状态码，当等于200时，说明访问成功。
下一步进行解析返回的html。
本次我采用xpath方法进行解析，在进行解析前，在自己的电脑上要先安装好lxml库文件，具体安装方法是打开pycharm中的terminal，在其中输入pip install --user lxml进行安装，如果安装不了，则可以去http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml网站上下载相应的wheel文件进行安装。
解析程序如下所示：

xpath返回的是一个列表形式，通过进行选择其中的位置，可以把内容变成str形式，我这里用了dic建立了一个字典形式，是为了方便后面我采用json方式进行数据存储。
下一步是数据存储，这里我才用的是json方法进行存储。
json是通过对象和数组的组合来表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。
保存数据的程序段如下：

a表示写入的数据是连续存入的，不会覆盖掉前面所储存的数据，encoding和ensure_ascii=False是为了让存储的数据是中文。
此刻，需要注意的是，要保存json形式的数据，必须要是列表内包含字典形式的数据，例如[{‘title’：title}]这样的数据，其他形式会报错。
这样，段子网就爬取完成了。完整代码如下所示：

from lxml import etree
import requests
import time
import json
def get_one_page(url):
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}
    response = requests.get(url=url, headers=headers)
    if response.status_code == 200:
        return response.text
    return None

def parse_one_page(content):
    list = []
    tree = etree.HTML(content)
    pages = tree.xpath('.//main[@class="col-md-8 main-content"]/article')
    for page in pages:
        title = page.xpath('.//h1[@class="post-title"]/a/text()')[0]
        time = page.xpath('.//time[@class="post-date"]/text()')[0]
        hot = page.xpath('.//time[@class="post-date"]/text()')[1]
        content1 = page.xpath('.//div[@class="post-content"]/pre/code/text()')[0].strip()
        dic = {'title':title,
                'time':time,
               'hot':hot,
               'content':content1}
        list.append(dic)
    return list
       
def write_one_page(item):
    with open('./duanzi.json', 'a', encoding='utf-8') as f:
        f.write(json.dumps(item, ensure_ascii=False)+'\n')
        f.close()
   
def main():
    for i in range(1, 10):
        url = 'https://duanziwang.com/page/{}/'.format(i)
        html = get_one_page(url)
        items = parse_one_page(html)
        for item in items:
            write_one_page(item)
        time.sleep(1)

if __name__ == '__main__':
    main()

以上内容是本人自己所写，如有雷同或者错误，请指正。谢谢！