爬取B站小黑屋信息
由于b站更新了反爬虫策略,现在爬取B站可以采用模拟浏览器操作进行爬取。需要安装以下python模块:
pip3 install selenium
pip3 install bs4
使用selenium模拟浏览器操作,对小黑屋进行模拟下拉操作,可以设置下拉次数(这里要注意每次下拉后要sleep一段时间,否则网页会加载不完)。等获取到足够的页面后在进行数据清洗。
from selenium import webdriver
from bs4 import BeautifulSoup
import time
import json
import re
class BSpider():
def __init__(self):
# 设置无界面模式
options = webdriver.FirefoxOptions()
options.add_argument('--headless')
self.browser = webdriver.Firefox(options = options)
self.blackroom_page = 'https://www.bilibili.com/blackroom/ban'
self.count = 0
# 获取页面
def get_page(self):
self.browser