爬取百度热搜排行榜Top50+可视化
一.导入所有模块
在终端类下载下列模块
- pip install requests
- pip install bs4
接下来写入下列其代码:
- import requests
- from bs4 import BeautifulSoup
- import openpyxl
代码思路:
requests 库用于发送HTTP请求获取网页内容。
二.发起HTTP请求获取百度热搜网页内容:
接下来写入下列其代码:
- url = ‘https://tor.baidu.com/board?tab=realtime’
- response = requests.get(url)
- html = response.content
这里使用了requests.get()方法发送GET请求,并将响应的内容赋值给变值html。
三.使用BeautifulSoup解析网页内容:
soup = BeautifulSoup(html,‘html.parser’)创建一个BeautifulSoup对象,并传入要解析的HTML内容和解析器类型。
四.提取热搜数据:
接下来写入下列其代码:
- hot_searches = [ ]
- for item in soup.find_all(‘div’:{’class’:’c-single-text-ellipsis’}):
- hot_searches.append(item.text)
这段代码通过调用soup.find_all()方法找到所有<div>标签,并且指定class属性‘c-single-text-ellipsis’的元素。然后,将每个元素的文本内容添加到hot_searches列表中。
五.保存热搜数据到Excel:
接下来写入下列其代码:
- workbook = openpyxl.Workbook()
- sheet = workbook.active
- sheet.title = ‘Baidu Hot Searches’
使用openpyxl.Workbook()创建一个新的工作薄对象。调用active属性获取当前活动的工作表对象,并将其赋值给变量sheet。使用title属性给工作表命名为‘Baidu Hot Searches’。
六.设置标题:
接下来写入下列其代码:
- sheet.cell(row=1,column=1,value=’百度热搜排行榜-博主:Yan-英杰’)
使用cell()方法选择要操作的单元格,其中row和column参数分别表示行和列的索引。将标题字符串‘百度热搜排行榜-博主:Yan-英杰’写入选定的单元格。
七.写入热搜数据:
接下来写入下列其代码:
- for i in range(len(hot_searches)):
- sheet.call(row=i+1,column=1,value=hot_searches[i])
使用range()函数生成一个包含索引的范围,循环遍历hot_searches列表。对于每个索引i,使用call()方法将对应的热搜词写入Excel文件中。
八.保存Excel文件:
接下来写入下列其代码:
- workbook.save(‘百度热搜.xlsx’)
九.输入提示信息:
接下来写入下列其代码:
- print(‘热搜数据已保存到 百度热搜.xlsx’)
在控制台输出保存成功的提示信息。
源代码
- import csv
- import time
- from time import sleep
- import random
- import requests
- from lxml import etree
- url = ('https://tor.baidu.com/board?tab=realtime')
- headers = { 'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0"}
- response = requests .get(url, headers=headers, timeout=10)
- html = response.text
- print(html)
- res = requests.get(url)
- print (res.request)
- print(res)
- print(res.cookies)
- print(res.headers)
- url =":(https://gamesense.pub/forums/style/Cobalt.min.css?v=31)"
- headers = {
- "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)"
- "Chrome/87.0.4280.88 Safari/537.36"
- }
- rep = requests.get(url, headers=headers)
- rep.encoding = 'utf-8'
- html = etree.HTML(rep.text)
- list_url = html.xpath('https://cbu01.alicdn.com/img/ibank/O1CN01enpDSl2MHpU8R7yie_!!2820679803-0-cib.220x220.jpg')
以上是本文所说的源代码复制即可。(注意下载模块不然会报错)
学爬虫是好事,但不能违法。
有疑问联系作者:3771822731
本文所以权:@GT工作室