抓取头条易读文章

最新推荐文章于 2021-08-08 14:45:14 发布

山遥

最新推荐文章于 2021-08-08 14:45:14 发布

阅读量144

点赞数

本文链接：https://blog.csdn.net/weixin_45468627/article/details/119418881

版权

本文介绍了如何利用Python进行网络爬虫，从头条网站抓取易读文章，涉及requests库和BeautifulSoup库的使用，以及数据解析和存储的步骤。

摘要由CSDN通过智能技术生成

import requests
from lxml import etree
import pandas as pd
import time

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}

user_data = []

def get_data(page):
    for i in range(1,page+1):
        r = requests.get('http://www.weixinyidu.com/c_1',headers=headers)
        r.encoding = 'utf-8'
        html = r.text
        s = etree.HTML(html)
        t = s.xpath('/html/body/div[3]/div[3]/div[1]/div/div[1]/ul/li[{}]/a/h3/text()'.format(i))
        print('正在打印第%s行' % str(i))
        print(t)
        user_data.extend(t)
        time.sleep(1)

if __name__ == '__main__':
    get_data(10)
    df = pd.DataFrame(user_data)
    df.to_csv('tou_tiao_pl.csv')