制作一个简易爬虫

最新推荐文章于 2024-06-11 17:08:50 发布

无敌鸡哥

最新推荐文章于 2024-06-11 17:08:50 发布

阅读量385

点赞数 1

文章标签：爬虫 python 编辑器程序设计

本文链接：https://blog.csdn.net/cao123456oac/article/details/132397011

版权

~~第一段代码·~~

import requests
from bs4 import BeautifulSoup
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
url = 'https://so.gushiwen.cn/mingjus/'
response = requests.get(url, headers=headers)
# 发送HTTP GET请求获取页面内容

response = requests.get(url)

# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')

# 查找具有class为"sons"的标签
tags = soup.find_all(class_="sons")

# 提取标签中的文字，删掉符号

text = '\n'.join([tag.text.strip() for tag in tags])
def content():

    with open('a.txt', 'w',encoding='utf-8') as file:
        file.writelines(text)

content()
# 将文本内容写入txt文件
def remove_content_after_keyword(file_path, keyword):
    # 读取文本文件内容
    with open(file_path, 'r',encoding='utf-8') as file:
        lines = file.read()

    # 查找关键字并删除之后的内容



    result = lines.rsplit('》', 1)[0]
    print(result)

    # 将处理后的内容写入文件
    with open(file_path, 'w',encoding='utf-8') as file:
        file.writelines(result)

# 调用函数，传入文件路径和关键字
remove_content_after_keyword('a.txt', '》')

思路大致为获取页面，BeautifulSoup解析，提取文字，生成文本文档，提炼主要内容。得到以下

念往昔，繁华竞逐，叹门外楼头，悲恨相续。
——王安石《桂枝香·登临送目》

黑发不知勤学早，转眼便是白头翁。
——《增广贤文·上集》

本富为上，末富次之，奸富最下。
——《史记·七十列传·货殖列传》

柳外画楼独上，凭栏手捻花枝，放花无语对斜晖，此恨谁知？
——秦观《画堂春·落红铺径水平池》

百二关河草不横，十年戎马暗秦京。
——元好问《岐阳三首》

不戚戚于贫贱，不汲汲于富贵。
——陶渊明《五柳先生传》

......

声明：诗文取自古诗文网https://so.gushiwen.cn/

~~这里是第二段~~

import requests
from bs4 import BeautifulSoup
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
url = 'https://www.zhihu.com/tardis/zm/art/336543801'
response = requests.get(url, headers=headers)
# 发送HTTP GET请求获取页面内容

response = requests.get(url)

# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')

# 查找p标签
tags = soup.find_all('p')



text = '\n'.join([tag.text.strip() for tag in tags])
#在修改后的代码中，使用列表推导式遍历标签列表，并提取每个标签的文字（使用tag.text.strip()）。然后，使用join方法将提取的文字列表连接成一个字符串，每个文字之间用换行符分隔。

#这样，就可以将提取的文字存储在text变量中，并且不再需要使用循环来逐个添加文字。


# 将文本内容写入txt文件
def remove_content_after_keyword():

    with open('a.txt', 'w',encoding='utf-8') as file:
        file.writelines(text)

remove_content_after_keyword()
#调佣

解析后通过提取标签p内的文字得到文章内容

将得到

......

必修一
1. 细胞学说的建立和发展过程 p11
维萨里 - 解剖尸体，发表《人体构造》，揭示了人体在器官水平的结构
比夏 - 指出器官由低一层次的结构——组织构成
（罗伯特）虎克- 细胞的发现者和命名者。他观察到植物的木栓组织由许多规则的小室组成，并把“小室”称为cell——细胞
列文虎克 - 用显微镜进行观察，对红细胞和动物精子进行了精确的描述
施莱登和施旺 - 提出了细胞学说，指出细胞是一切动植物结构的基本单位。
魏尔肖 - 在前人研究成果的基础上，总结出“细胞通过分裂产生新细胞” 、“所有细胞都来源于先前存在的细胞”。（而非“新细胞可以从老细胞中产生”）
附：细胞学说内容
a) 细胞是一个有机体，一切动植物都由细胞发育而来，并由细胞和细胞产物所构成
b) 细胞是一个相对独立的单位，既有它自己的生命，又对其他细胞共同组成的整体的生命起作用
c) 新细胞可以从老细胞中产生
P12 文森特 - 通过破坏基因的方法研究基因的作用
......

文章内容著作权归作者青歆所有，取自知乎高中生物所有科学家都在这里啦 (zhihu.com)