python爬虫实战(2)--爬取某博热搜数据

1. 准备工作

使用python语言可以快速实现，调用BeautifulSoup包里面的方法
安装BeautifulSoup

pip install BeautifulSoup

完成以后引入项目

2. 开发

定义url

    url = 'https://s.微博.com/top/summary?cate=realtimehot'

定义请求头，微博请求数据需要cookie，设置自己的cookie

header = {
    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Mobile Safari/537.36',
    'Host': 's.weibo.com',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'zh-CN,zh-Hans;q=0.9',
    'Accept-Encoding': 'gzip, deflate, br',
    # 定期更换Cookie
    'Cookie': '你的cookie'
}

cookie查看

分析数据结构，找到标签值

    items = soup.find('section', {'class': 'list'})

爬取的数据都是列表，定义好需要的列表list，循环标签值

 href_list = []
    text_list = []
    order_list = []
    type_list = []
    view_count_list = []
    for li in items.find_all('li'):
        # 链接地址
        order = li.find('strong')
        if order == None:
            continue
        href = li.find('a').get('href')
        href_list.append('https://s.weibo.com' + href)
        la = li.find('i')
        order_list.append(order.get_text())
        text = li.find('span').get_text()
        view_count = li.find('span').find('em').get_text()
        view_count_list.append(view_count)
        text1 = text.replace(view_count, '')
        text_list.append(text1)
        if la:
            type = trans_icon((la.get('class')[1]))
        else:
            type = trans_icon('')
        type_list.append(type)

中间有个热搜类别转换方法

def trans_icon(v_str):
    """转换热搜类别"""
    if v_str == 'icon_new':
        return '新'
    elif v_str == 'icon_hot':
        return '热'
    elif v_str == 'icon_boil':
        return '沸'
    elif v_str == 'icon_recommend':
        return '商'
    else:
        return '未知'

最后把抓取的数据存到xlsx

    df = pd.DataFrame(data)
    df.to_excel('C:\\Users\\Administrator\\Desktop\\微博热搜榜.xlsx', index=False)  # 保存结果数据

3. 效果