爬取百度百科词条 request

爬取百度百科词条 request

import  requests
from bs4 import BeautifulSoup

unique_url_list = []
used_url = []

c_lkist = []
def m(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'}
    try:
        resp = requests.get(url,headers)
        used_url.append(url)
        soup = BeautifulSoup(resp.text,'lxml')
        for i in soup.find_all('a'):
            c_lkist.append(i["href"])

            unique_url_list = set(c_lkist)-set(used_url)
            for n in unique_url_list:
                print(n)
                if "htt" not in n :
                    used_url.append(n)
                else:
                    m(n)

    except Exception as e:
        used_url.append(url)
        print(e)


url = 'https://www.baidu.com/'
m(url)

**可以使用正则表达式  精准匹配 **









  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python可以用于爬取百度百科的内容。有一本实践技巧的书籍提供了详细的指导[1]。在爬取百度百科的过程中,我们可以设置一个目标,比如爬取1000条词条,并将这些词条的URL地址输出,并将词条的相关信息(URL、标题、概述)写入一个叫output.htm的文件。 在爬取百度百科上的词条时,我们需要注意将爬取到的内容以字典的形式进行整理。通过使用字典,我们可以将词条的标题和相应的内容进行配对。代码示例如下: elem_dict = dict(zip(elem_name, elem_value)) dict_1 = {} for key in elem_dict: print(key.text, elem_dict[key].text) dict_1.update({key.text: elem_dict[key].text}) 通过这样的方法,我们可以将爬取到的词条标题和内容以字典的形式保存下来,方便后续的处理和使用。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Python虫实战笔记-股票爬取示例.md](https://download.csdn.net/download/weixin_52057528/88258593)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [Python爬取百度百科词条](https://blog.csdn.net/DongChengRong/article/details/77924695)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [基于python里selenium库的信息盒爬取](https://blog.csdn.net/poorlytechnology/article/details/109574110)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值