Selenium抓取youtube视频推荐

Youtube作为一个全球最大的视频资源平台，对于视频资源有很好的规整处理。所以当我们想要抓取一些视频资源时，它本身提供的API能力不符合时，我们需要使用Selenium去抓取视频。

以下是根据一条视频链接去抓取推荐列表的功能：

async def recommendVideo(url):
    driver = webdriver.Chrome()
    driver.get(url)
    recommended_videos = WebDriverWait(driver, 10).until(
        EC.presence_of_all_elements_located((By.CSS_SELECTOR, 'ytd-compact-video-renderer'))
    )
    author_element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, "yt-formatted-string#text.ytd-channel-name"))
    )
    html_source = driver.page_source
    channel_origin_id = re.search(r'\"channelId\":\"(.*?)\"', html_source).group(1)
    author_origin_name = author_element.text
    len(recommended_videos)
    search_videos = []
    unique_author = set()
    for video in recommended_videos[:50]:
        video_link = video.find_element(By.CSS_SELECTOR, '#thumbnail').get_attribute('href')
        author_name = video.find_element(By.ID, 'text-container').text.split('\n')[0]
        video = {
            "video_link": video_link,
            "author_name": author_name
        }
        search_videos.append(video)
    return search_videos,origin,unique_author

而Youtube的视频抓取API是需要一定的限制的，你需要获取到youtube Key，并且YouTube的API接口还需要一定积分的，不能够无限制获取。

async def youtubeAPI(channelId):
    API_KEY = ''  # 你的API密钥
    url = f"https://youtube.googleapis.com/youtube/v3/playlists?part=snippet%2CcontentDetails&channelId={channelId}&maxResults=10&key={API_KEY}"
    response = requests.get(url)
    videos = response.json()
    apivideos = []
    for video in videos.get('items', []):
        url = video['snippet']['thumbnails']['default']['url']
        video_id = re.search(r'/vi/(.*?)/', url).group(1)
        video_link = f"https://www.youtube.com/watch?v={video_id}"
        con_video = {
            "video_link": video_link,
        }
        apivideos.append(con_video)

    return apivideos

这样就可以获取主页视频信息，

如果您有什么不懂的可以关注我们的公众号：总结鸭