python爬虫实现下载电影天堂电影

最新推荐文章于 2024-08-22 17:32:24 发布

justforfun099

最新推荐文章于 2024-08-22 17:32:24 发布

阅读量1.2w

点赞数 3

分类专栏： Python

本文链接：https://blog.csdn.net/huangzhiyuan111/article/details/52673699

版权

本文记录了使用Python爬虫从电影天堂网站抓取最新电影信息的过程，通过爬虫技术实现了对电影链接的初步过滤，最终成功获取到586条有效数据。

摘要由CSDN通过智能技术生成

这段时间一直在学习Python爬虫，为了加强学习过程，也为了以后的学习留下点痕迹，特此记录下整篇爬虫的过程。以电影天堂为例，提取出当前界面的最新电影。

# -*- coding:utf-8 -*-
import urllib2
import os
import re

url = 'http://www.dy2018.com/html/gndy/dyzz/index.html'  #这是电影天堂最新电影的网站
conent = urllib2.urlopen(url)
conent =  conent.read()
conent = conent.decode('gb2312','ignore').encode('utf-8','ignore')    #为了避免中文乱码

f = open('conent.txt','w')
f.write(conent)
f.close()

得到的context.txt文件为电影天堂，浏览器打开后的F12界面，形如下图。（该文件共有1126行）