爬虫-python实现的抓取腾讯视频所有电影

最新推荐文章于 2024-09-25 19:31:26 发布

你曾路过我的故乡

最新推荐文章于 2024-09-25 19:31:26 发布

阅读量9.3k

点赞数 7

分类专栏： Python 文章标签：爬虫

本文链接：https://blog.csdn.net/weixin_45038034/article/details/90143774

版权

本文介绍了一种使用Python编程语言实现的爬虫技术，详细讲解了如何抓取腾讯视频平台上的所有电影信息，涵盖了爬虫的实现过程和关键代码片段。

摘要由CSDN通过智能技术生成

用python实现的抓取腾讯视频所有电影的爬虫

# -*- coding: utf-8 -*-
import re
import urllib2
from bs4 import BeautifulSoup
import string, time
import pymongo
  
NUM     = 0         #全局变量,电影数量
m_type  = u''       #全局变量,电影类型
m_site  = u'qq' #全局变量,电影网站
  
#根据指定的URL获取网页内容
def gethtml(url):
    req = urllib2.Request(url)
    response = urllib2.urlopen(req)
    html = response.read()
    return html
  
#从电影分类列表页面获取电影分类
def gettags(html):
    global m_type
    soup = BeautifulSoup(html)      #过滤出分类内容
    #print soup
    #<ul class="clearfix _group" gname="mi_type" gtype="1">
    tags_all = soup.find_all('ul', {'class' : 'clearfix _group' , 'gname' : 'mi_type'})
    #print len(tags_all), tags_all
    #print str(tags_all[1]).replace('\n', '')
  
    #<a _hot="tag.sub" class="_gtag _hotkey" href="http://v.qq.com/list/1