Python 获取百度热搜

好久没写了,就把上课做的一个小东西拿出来分享一下吧。
百度网页截图如下 ↓↓↓
百度网页截图
程序运行输出结果截图 ↓↓↓
程序运行输出结果截图
上代码 ↓↓↓

from lxml import etree
from lxml import html
import requests

headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.63 Safari/537.36'}
page = requests.get("https://www.baidu.com",headers=headers)
html = page.text
#print(source1)
# 从字符串解析
element = etree.HTML(html)

# 元素列表,获取的方式列出了如下两种
# ps = element.xpath('//*[@id="hotsearch-content-wrapper"]/li/a/span[2]')
ps = element.xpath('//*[@class="title-content-title"]')

#热搜文本内容
text = []
if len(ps) > 0:
    for p in ps:
        #输出节点的文本
        text1 = p.text
        text.append(text1)
else:
    print("空")
    
x = element.xpath('//*[@class="s-hotsearch-content"]/li')

#热搜文本对应的排名
index = []
for x1 in x:
    #获取节点的属性
    index1 = x1.get("data-index")
    index.append(index1)

print(text)    
print(index)

#定义一个对文本和排名进行匹配的函数,返回一个字典型数据
def PP(index_array,text_array):
    x = {}
    i = 0
    for index_a in index_array:
        #index_a = int(index_a)
        
        x[index_a] = text_array[i]
        i = i + 1
    return x


re_text = PP(index,text)
#对字典性数据按key进行排序,即key=lambda re:re[0],排序完成后再转换为字典型数据
last_text = dict(sorted(re_text.items(),key=lambda re:re[0]))
  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Python爬虫百度是指使用Python编写程序来获取百度榜的数据。根据提供的引用内容,可以看出有多种方法可以实现这个目标。 引用\[1\]提供了一种使用Python爬虫获取百度榜前50数据并保存为CSV文件的方法。该方法使用了Python的requests库来发送HTTP请求,并使用CSV库来将数据保存为CSV文件。 引用\[2\]提供了一个使用面向对象编程的方式来编写Python爬虫程序的示例代码。该代码定义了一个名为MySpider的类,其中包含了获取网页源代码和将源代码写入文件的方法。 引用\[3\]提供了一个爬取百度前30新闻并将其信息放入Excel表格和Flask网页中实现数据可视化的示例。这个示例展示了如何使用Python爬虫获取百度的数据,并将其用于数据可视化。 综上所述,Python爬虫百度可以通过使用Python的requests库发送HTTP请求来获取数据,并使用CSV库将数据保存为CSV文件。也可以使用面向对象编程的方式来编写爬虫程序,并使用Excel或Flask等工具进行数据可视化。具体的实现方法可以根据需求和个人偏好选择。 #### 引用[.reference_title] - *1* [python网络爬虫:实现百度榜前50数据爬取,生成CSV文件](https://blog.csdn.net/qq_32154707/article/details/106042537)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Python爬取练习:指定百度索的内容并提取网页的标题内容](https://blog.csdn.net/qq_45534118/article/details/118311523)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [[入门Python] 爬虫实例--爬取Baidu新闻](https://blog.csdn.net/qq_58534264/article/details/122428162)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值