python爬取糗事百科内容

1，使用到的知识点
2，思路
3，代码展示
4，总结

欢迎使用Markdown编辑器

1，使用到的知识点
（1）requests库的使用
requests是python很实用的一个库，想要爬取数据requests必不可少，最常用的一个搭配就是 response=requests.get(url)获取页面返回一个对象
（2）json的使用
首先我们要知道什么是json：
json全称JavaScript Object Notation，是一种轻量级数据交换格式
为什么要使用json：

 def save_content_list(self,content_list):#保存数据

        with open('qiu2.txt', 'a', encoding='utf-8')as f:
            for content in content_list:
                f.write(json.dumps(content, ensure_ascii=False))
                f.write('\n')

优点：容易阅读和编写。

方便机器解析和生成。

JSON采用独立于程序语言的文本格式，但是也使用了常用编程语言的习惯。这些特性使JSON成为理想的数据交换语言。

json的简单使用：
json.dumps() 编码
json.loads(）解码
这里我们是将python的字典类型变成json的object类型
https://www.cnblogs.com/jfl-xx/p/7992985.html
想要了解更多可以参考这个传送门

（3）xpath的使用
什么是xpath：
XPath即为XML路径语言，它是一种用来确定XML(标准通用标记语言的子集)文档中某部分位置的语言。XPath基于XML的树状结构，有不同类型的节点，包括元素节点，属性节点和文本节点，提供在数据结构树中找寻节点的能力。 起初 XPath 的提出的初衷是将其作为一个通用的、介于XPointer与XSLT间的语法模型。但是 XPath 很快的被开发者采用来当作小型查询语言。[来自360百科] 现在我们使用它对HTML文档进行搜索。
原文：https://blog.csdn.net/qq_25343557/article/details/81912992
为什么要使用xpath：
因为，我太菜了不会正则表达式，beautifulsoup用的也是一言难尽
xpath简单使用：
div_list = html.xpath("//div[@class=‘col1 old-style-col1’]/div")
举个栗子,html 页面有很多标签，我们想要找的内容都藏在一个个标签里，我们只要引用那些标签名就能找到东西

//是跳过从内容之前的标签，
（4）html页面分析
这个自己去百度吧
2，思路
#1，获取url，得到一个地址，通过分析我们发现，他的url有个规律，https://www.qiushibaike.com/8hr/page/3/
最末尾的数字就是页面数目，所以我们可以利用for循环遍历得到13个页面的url
#2，使用requests.get()方法发出请求，得到页面信息
#3，定义def parse_list(self,url): # 对页面内容进行解析
#4，定义函数提取数据
#5，保存数据
3，代码展示

```python
import requests
from lxml import etree
import json


class q():
    def __init__(self):

        self.start_url = "https://www.qiushibaike.com/text/page/{}/"
        self.headers = {
            'UserAgent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}

    def get_url_list(self):  # 根据url的规律获得url列表

        url_list = [self.start_url.format(i) for i in range(1, 14)]
        return url_list

    def get_content_list(self, html_str):  # 提取数据

        content_list = []
        html = etree.HTML(html_str)
        div_list = html.xpath("//div[@class='col1 old-style-col1']/div")
        print(div_list)
        for div in div_list:
            item={}

            item["auth_name"] = div.xpath(".//h2/text()")[0].strip() if len(div.xpath(".//h2/text()")) > 0else None
            item["content"] = div.xpath(".//span/text()")
            item["content"] = [i.strip() for i in item["content"]]
            #item["content"] = [i.strip() for i in range["content"]]
            content_list.append(item)
        return content_list

    def parse_list(self,url):  # 对页面内容进行解析

        print("now parsing:", url)
        response = requests.get(url, headers=self.headers)
        return response.content.decode()

    def save_content_list(self,content_list):#保存数据

        with open('qiu2.txt', 'a', encoding='utf-8')as f:
            for content in content_list:
                f.write(json.dumps(content, ensure_ascii=False))
                f.write('\n')

        print("保存成功")

    def run(self):  # 实现主要逻辑
        url_list = self.get_url_list()
        for url in url_list:
            html_str = self.parse_list(url)
            content_list = self.get_content_list(html_str)
            self.save_content_list(content_list)


if __name__ == '__main__':
    a = q()#类的实例化
    a.run()

总结：
我是看了传智播客老师的课程跟着敲的，但是出现了很多错误，自己慢慢百度最终得出想要你的结果内容很是很多的需要时间慢曼消化，还是得自己动手实践，希望大家在疫情期间编程能力 能有很大的提升。






## 新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：
 1. **全新的界面设计** ，将会带来全新的写作体验；
 2. 在创作中心设置你喜爱的代码高亮样式，Markdown **将代码片显示选择的高亮样式** 进行展示；
 3. 增加了 **图片拖拽** 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
 4. 全新的 **KaTeX数学公式** 语法；
 5. 增加了支持**甘特图的mermaid语法[^1]** 功能；
 6. 增加了 **多屏幕编辑** Markdown文章功能；
 7. 增加了 **焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置** 等功能，功能按钮位于编辑区域与预览区域中间；
 8. 增加了 **检查列表** 功能。
 [^1]: [mermaid语法说明](https://mermaidjs.github.io/)

## 功能快捷键

撤销：<kbd>Ctrl/Command</kbd> + <kbd>Z</kbd>
重做：<kbd>Ctrl/Command</kbd> + <kbd>Y</kbd>
加粗：<kbd>Ctrl/Command</kbd> + <kbd>B</kbd>
斜体：<kbd>Ctrl/Command</kbd> + <kbd>I</kbd>
标题：<kbd>Ctrl/Command</kbd> + <kbd>Shift</kbd> + <kbd>H</kbd>
无序列表：<kbd>Ctrl/Command</kbd> + <kbd>Shift</kbd> + <kbd>U</kbd>
有序列表：<kbd>Ctrl/Command</kbd> + <kbd>Shift</kbd> + <kbd>O</kbd>
检查列表：<kbd>Ctrl/Command</kbd> + <kbd>Shift</kbd> + <kbd>C</kbd>
插入代码：<kbd>Ctrl/Command</kbd> + <kbd>Shift</kbd> + <kbd>K</kbd>
插入链接：<kbd>Ctrl/Command</kbd> + <kbd>Shift</kbd> + <kbd>L</kbd>
插入图片：<kbd>Ctrl/Command</kbd> + <kbd>Shift</kbd> + <kbd>G</kbd>
查找：<kbd>Ctrl/Command</kbd> + <kbd>F</kbd>
替换：<kbd>Ctrl/Command</kbd> + <kbd>G</kbd>

## 合理的创建标题，有助于目录的生成

直接输入1次<kbd>#</kbd>，并按下<kbd>space</kbd>后，将生成1级标题。
输入2次<kbd>#</kbd>，并按下<kbd>space</kbd>后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用`TOC`语法后生成一个完美的目录。

## 如何改变文本的样式

*强调文本* _强调文本_

**加粗文本** __加粗文本__

==标记文本==

~~删除文本~~

> 引用文本

H~2~O is是液体。

2^10^ 运算结果是 1024.

## 插入链接与图片

链接: [link](https://www.csdn.net/).

图片: ![Alt](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9hdmF0YXIuY3Nkbi5uZXQvNy83L0IvMV9yYWxmX2h4MTYzY29tLmpwZw)

带尺寸的图片: ![Alt](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9hdmF0YXIuY3Nkbi5uZXQvNy83L0IvMV9yYWxmX2h4MTYzY29tLmpwZw =30x30)

居中的图片: ![Alt](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9hdmF0YXIuY3Nkbi5uZXQvNy83L0IvMV9yYWxmX2h4MTYzY29tLmpwZw#pic_center)

居中并且带尺寸的图片: ![Alt](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9hdmF0YXIuY3Nkbi5uZXQvNy83L0IvMV9yYWxmX2h4MTYzY29tLmpwZw#pic_center =30x30)

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

## 如何插入一段漂亮的代码片

去[博客设置](https://mp.csdn.net/console/configBlog)页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 `代码片`.
```javascript
// An highlighted block
var foo = 'bar';

生成一个适合你的列表

• 项目
  • 项目
    • 项目

1. 项目1
2. 项目2
3. 项目3

• 计划任务
• 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	'Isn't this fun?'	‘Isn’t this fun?’
Quotes	"Isn't this fun?"	“Isn’t this fun?”
Dashes	-- is en-dash, --- is em-dash	– is en-dash, — is em-dash

创建一个自定义列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何创建一个注脚

一个具有注脚的文本。¹

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 $\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$ 是通过欧拉积分

$$\Gamma (z)={\int }_0^{\infty }{t}^{z-1}{e}^{-t}dt.$$

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

• 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

这将产生一个流程图。:

• 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

• 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

---

1. 注脚的解释 ↩︎