Python爬虫，爬取百度小说网评论

最新推荐文章于 2024-05-02 22:24:53 发布

不爱编程的python小白

最新推荐文章于 2024-05-02 22:24:53 发布

阅读量779

点赞数 2

分类专栏：笔记文章标签： python

本文链接：https://blog.csdn.net/lxlx123abc/article/details/117423951

版权

笔记专栏收录该内容

5 篇文章 0 订阅

订阅专栏

#网址如下
#https://yuedu.baidu.com/ebook/0ab2967333687e21ae45a937###


import requests
import time
import xlwt
datalis=[]          #存储数据
def main():                #表示主函数
    np = 0                 #参数初始值
    aa = 1622449310856     #参数初始值
    for i in range(0,49):
        np+=10
        aa+=1
        url = f'https://yuedu.baidu.com/customer/api/bookcomment?act=get&doc_id=0ab2967333687e21ae45a937&type=3&pn={np}&rn=10&sort=0&_={aa}'
        fun(url)
def fun(url):           #请求数据
    #print(url)
    html = requests.get(url).json()
    time.sleep(2)
    print("以获取数据，开始 解析")
    fun1(html)
    #print(html)、
def fun1(html):             #解析数据，找到有用的数据
    for i in html['data']['comment']:
        lis=[]
        lis.append(i['reply_id'])        #获取id
        lis.append(i['create_time'])        #获取评论时间
        lis.append(i['uname'])            #获取名字
        lis.append(i['content'])          #获取评论
        #print('解析完成')
        #print(i)
        datalis.append(lis)
    print('解析完成',len(datalis)/10,'个')
def fun2(datalis):          #保存数据
    #print(datalis)
    print("开始存储!")
    book = xlwt.Workbook(encoding="utf-8", style_compression=0)  # 创建"workbook"对象
    sheet = book.add_sheet("小说网数据", cell_overwrite_ok=True)  # 创建工作表
    col = ["用户ID", "评论时间", "名字", "评论"]
    for i in range(0, 4):
        sheet.write(0, i, col[i])  # 列名
    for i in range(1, len(datalis)):
        print('已经存储',i - 1, '行数据')
        for j in range(0, len(datalis[i])):
            sheet.write(i, j, datalis[i - 1][j])
            book.save("小说网数据1.xls")
if __name__ == '__main__':
    main()
    fun2(datalis)

以上为本次所有源代码，感谢观看