python 知乎 合并 pdf_32.使用selenium爬取知乎,并实现多页保存为一个PDF文件

本文介绍了如何使用Python的Selenium库爬取知乎的多个回答页面,将其分别保存为HTML,然后转换成PDF。通过将多个PDF合并,最终形成一个包含所有回答的单一PDF文件。主要涉及的工具有wkhtmltopdf和PyPDF2。
摘要由CSDN通过智能技术生成

1.动机

对于知乎的一些高知大V,他们的回答总是那么具有说服力,通过阅读他们的回答,了解他们对热点事件的分析方式,通过现象看本质,一不至于被带节奏,二增加自己的知识面。多读多看,大有裨益。那如果在网络信号不太好或不舍得太多流量的情况下(穷),能够翻看他们的回答就太好了。

本篇介绍一下如何把”恶喵的奶爸“知乎回答页全部下载下来并保存为一个PDF。

1.1.分析

实现方式一,获取全部HTML源代码,将多个HTML文件合成一个HTML文件,将最后合成的这个文件保存为PDF。

实现方式二,将单个HTML文件保存为PDF,再将多个PDF合成一个。

经分析,后者更容易实现。

在正式爬之前,多做一些本地的测试,在本地能够行得通,再去骚扰目标网站。这样做的目的,一是不让网站运营者恶心;二是节约自己的时间和精力,因为大型网站大多有自己的反爬措施,频繁骚扰两三次,ip就被封了,那还要考虑换ip等一系列问题。

2.将本地HTML保存为PDF文件

先用selenium访问以下目标网站,将源代码保存到本地HTML,然后用本地的HTML做测试。

# -*- coding: utf-8 -*-

# @AuThor : frank_lee

import pdfkit

htmlfile = open("zhihu_answer.html", 'r', encoding='utf-8')

confg = pdfkit.configuration(wkhtmltopdf=r'D:\htmlpdf\wkhtmltopdf\bin\wkhtmltopdf.exe')

pdfkit.from_url(htmlfile, 'zhihu.pdf', configuration=confg)

2.1.上面代码能够正常执行的先决条件--安装wkhtmltopdf、pdfkit

根据自己的操作系统下载对应的版本即可。安装完成后可以将其加入到环境变量中,也可以不加入,但每次使用时需要调用wkhtmltopdf.exe的绝对路径。

2.2.2.安装pdfkit模块

pip install pdfkit

3.将一个本地HTML文件保存为多个PDF文件

import pdfkit

import time

i = 0

while i < 4:

# pdfname = "zhihu{}".format(i)+".pdf"

htmlfile = open("zhihu_answer.html", 'r', encoding='utf-8')

confg = pdfkit.configuration(wkhtmltopdf=r'D:\htmlpdf\wkhtmltopdf\bin\wkhtmltopdf.exe')

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是Python爬取知乎数据的代码实现,其中使用了八爪鱼爬虫工具和数据预处理库pandas: ```python import requests import json import pandas as pd from octopus import Octopus # 设置请求头信息 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299' } # 构造请求url def get_url(keyword, offset): url = 'https://www.zhihu.com/api/v4/search_v3?t=general&q={}&correction=1&offset={}&limit=20&lc_idx=0&show_all_topics=0&search_hash_id='.format(keyword, offset) return url # 爬取知乎数据并保存为json文件 def crawl_data(keyword): otto = Octopus( concurrency=8, auto_start=True, expiration_in_seconds=120, raise_all_exceptions=True, worker_lifespan_in_seconds=120 ) result = [] for i in range(0, 100, 20): url = get_url(keyword, i) otto.enqueue(get_data, url) otto.wait() for res in otto.results(): result += res with open('zhihu.json', 'w', encoding='utf-8') as f: json.dump(result, f, ensure_ascii=False) # 解析json文件使用pandas进行数据预处理 def process_data(): with open('zhihu.json', 'r', encoding='utf-8') as f: data = json.load(f) results = [] for item in data: result = {} result['问题'] = item['highlight']['title'] result['链接'] = 'https://www.zhihu.com/question/{}'.format(item['object']['question']['id']) result['答案'] = item['highlight']['description'] results.append(result) df = pd.DataFrame(results) df.to_excel('zhihu.xlsx', index=False) # 获取数据 def get_data(url): response = requests.get(url, headers=headers) data = response.json()['data'] result = [] for item in data: if item['object']['type'] == 'answer': result.append(item) return result if __name__ == '__main__': crawl_data('Python') process_data() ``` 此代码实现爬取知乎关于“Python”的数据,并将数据保存成json文件,再使用pandas进行数据预处理,最终将结果保存成Excel文件。你可以根据自己的需求修改关键词以及保存文件格式。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值