python的简单爬取代码之小白教程（微博热门标题）

一、请求网站响应获取网页源代码

1.观察微博搜索热搜榜

2.准备工作

安装request模块
win+r调出运行窗口输入cmd

输入

pip install requests

回车等待安装完成

requests使用方法

3.上代码

import requests  # 导入requests模块
import re  # 导入re模块

url = "https://s.weibo.com/top/summary?cate=realtimehot"  # 网站

# 请求头
headers = {
    "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/'
                  '70.0.3538.25 Safari/537.36 Core/1.70.3776.400 QQBrowser/10.6.4212.400'
}

# 请求网站源码文本
response = requests.get(url, headers=headers).text

使用浏览器开发者工具获取请求头headers

二、利用正则定位到每个热搜

1.查看源码

发现热搜都在一个tr标签内

2.使用正则直接定位

import re
text = re.findall('<td\s+class="td-02">.*?<.*?>(.*?)</a>.*?</td>', response, re.DOTALL)

"\s+"匹配一个或多个空格
“.*?”1匹配后面出现的第一个字符1
" class=“td-02” "是热搜文本特有的标志，要加上
“re.DOTALL ”这使得正则表达式匹配不受换行符限制，
返回的text是包含匹配到的文本列表。

三、打印热搜

1.rjust()的用法

a1=[]
for i in range(10):
    b=str(i).rjust(2, '0')
    a1.append(b)
print(a1)
a2=[]
for i in range(10):
    b=str(i).rjust(3, '0')
    a2.append(b)
print(a2)

a1=['00', '01', '02', '03', '04', '05', '06', '07', '08', '09']
a2=['000', '001', '002', '003', '004', '005', '006', '007', '008', '009']

2.打印

a = 1
for i in text:  # 遍历列表
    hot = f"{str(a).rjust(2, '0')}.{i}"  # 遍历列表后加上序号
    print(hot)  # 打印热搜
    a += 1

四、全部代码及效果图

1.全部代码

import requests  # 导入requests模块
import re  # 导入re模块

url = "https://s.weibo.com/top/summary?cate=realtimehot"  # 网站

# 请求头
headers = {
    "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/'
                  '70.0.3538.25 Safari/537.36 Core/1.70.3776.400 QQBrowser/10.6.4212.400'
}

# 请求网站源码文本
response = requests.get(url, headers=headers).text
# re定位热搜文本位置
text = re.findall('<td\s+class="td-02">.*?>(.*?)<.*?</td>', response, re.DOTALL)
# text是一个50个热搜的列表

a = 1
for i in text:  # 遍历列表
    hot = f"{str(a).rjust(2, '0')}.{i}"  # 遍历列表后加上序号
    print(hot)  # 打印热搜
    a += 1

2.效果图