改进版爬取猫眼电影，信息最全，beautifulsoup+re

最新推荐文章于 2022-03-12 14:05:23 发布

暮芸向铃

最新推荐文章于 2022-03-12 14:05:23 发布

阅读量818

点赞数 1

分类专栏： python 爬虫文章标签： python 开发语言后端爬虫

本文链接：https://blog.csdn.net/qq_51076481/article/details/121749545

版权

python 同时被 2 个专栏收录

14 篇文章 0 订阅

订阅专栏

爬虫

7 篇文章 0 订阅

订阅专栏

核心代码：

target=[]
for item in items:
    movieName = re.findall(re.compile(
        r'div class="channel-detail movie-item-title" title="(.*?)"'), str(item))[0]
    integer = re.findall(re.compile(
        r'<i class="integer">(.*?)</i>'), str(item))
    integer = integer[0] if len(integer) != 0 else 0
    fraction = re.findall(re.compile(
        r'<i class="fraction">(.*?)</i>'), str(item))
    fraction = fraction[0] if len(fraction) != 0 else 0
    score = str(integer)+str(fraction)
    img = re.findall(re.compile(
        r'class="movie-hover-img" src="(.*?)"'), str(item))[0]
    time = re.findall(re.compile(
        r'<span class="hover-tag">上映时间:</span>\n[\s]*([\s\S]*?)\n[\s]*</div>'), str(item))[0]
    act = re.findall(re.compile(
        r'<span class="hover-tag">主演:</span>\n[\s]*([\s\S]*?)\n[\s]*</div>'), str(item))[0]
    con = re.findall(re.compile(
        r'<span class="hover-tag">类型:</span>\n[\s]*([\s\S]*?)\n[\s]*</div>'), str(item))[0]
    target.append([movieName, score,time,act,img,con])
out = pd.DataFrame(target)
#out.columns = ['movieName', 'score']
out.to_csv('猫眼电影.csv')