爬虫——爬取造句网

最新推荐文章于 2024-08-17 20:45:04 发布

都市的背包客

最新推荐文章于 2024-08-17 20:45:04 发布

阅读量864

点赞数

本文链接：https://blog.csdn.net/weixin_41524763/article/details/80272398

版权

该博客介绍了如何使用Python的requests和BeautifulSoup库爬取造句网的数据，并通过pymongo将抓取的句子信息存储到MongoDB数据库中。爬取过程包括获取页面总数，遍历每一页，提取每个句子及其标题，并保存到特定集合中。

摘要由CSDN通过智能技术生成

import pymongo
import requests
from bs4 import BeautifulSoup

Client = pymongo.MongoClient('localhost', 27017)
Db = Client.zaojv
My_Collection = Db.clause

Url_Init = 'http://zaojv.com/word.html'

Resp = requests.get(Url_Init)
Response_Html = Resp.text
Soup = BeautifulSoup(Response_Html, 'html.parser')

Elements_Page_Number = Soup.find("input"