怎么得到tuphub.today热榜和热度呢?

**用到的模块有:**requesst、re、pandas
**步骤:**1.得到url
2.设置请求头伪装浏览器,防止被反爬
3.请求获得文本文件
4.用re.compile()方法复制文本
5.用pd.DataFrame()让爬取的信息根据可读性,条理性。

import requests
import re
import pandas as pd

url = "https://tophub.today/n/Jb0vmloB1G"

headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"
                  " AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/100.0.4896.127 Safari/537.36 Edg/100.0.1185.44"
}

r = requests.get(url,headers=headers).text # 得到text文本。

title = re.compile('itemid="[0-9]*">(.*?)</a>') # 这些信息在网页开发者模式下可以获取
titles = title.findall(r)[0:31] # 用findall方法和切片获得1-30的排行榜

num = re.compile("<td>(.*?)</td>") #复制热度信息
nums = num.findall(r)[0:31]

m = {"今日热点":titles,"热度":nums}
file = pd.DataFrame(m) # 使用DataFrame方法使爬取的数据更具可读性。
print(file)

爬取后的样子:
image

如果你把这段代码复制运行,你可能会发现爬取不到,因为热榜信息在更新,写的不太严谨,因为作者见解有限,在不断学习中,有啥不足或者补充的,欢迎各位大佬评论!
image

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小熊佩萁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值