python爬豆瓣用户_编写Python爬虫抓取豆瓣电影TOP100及用户头像的方法

http://movie.douban.com/top250?start=0

http://movie.douban.com/top250?start=25

http://movie.douban.com/top250?start=50

http://movie.douban.com/top250?start=75

2.然后通过查看源码，发现电影名的代码如下：

肖申克的救赎

/ The Shawshank Redemption

如图，因为有一些英文名等描述，通过正则抓取有些干扰，可能还需要后续过滤。

根据以上信息，此程序主要分以下3个步骤：

二、构建url地址池

抓取top100电影名称

依次打印输出

依次写出代码

1.构建url地址池。代码如下：

import urllib2

import re

# ----------确定url地址池------------

pre_url = 'http://movie.douban.com/top250?start='

top_urls = []

# 因为top100，每页25部电影，故为4页,从零开始

for num in range(4):

top_urls.append(pre_url + str(num * 25))

2.抓取top100电影名称

# ------------抓取top100电影名称----------

top_content = []

top_tag = re.compile(r'(.+?)')

for url in top_urls:

content = urllib2.urlopen(url).read()

pre_content = re.findall(top_tag, content)

# 过滤不符合条件的list，得到最后的top100的list

for item in pre_content:

if item.find('&nbsp') == -1:

top_content.append(item)

3.打印输出

top_num = 1

for item in top_content:

print 'Top' + str(top_num) + ' ' + item

top_num += 1

三、整理代码我还是python新手，还没有太多的pythonic思想，也没有代码优化技巧，只能说是整理。

其次，个人习惯，在简单的代码里面我还是喜欢少用函数，尽量不隐藏代码的逻辑。

以下代码请参考，并欢迎提意见，希望得到大家的意见，谢谢！

整理后的代码如下：

# coding=utf-8

'''

本代码为自动抓取豆瓣top100电影代码

@pre_url url地址前缀，在这里为http://movie.douban.com/top250?start=

@top_urls url地址池

@top_tag 为抓取电影名正则表达式

'''

import urllib2

import re

pre_url = 'http://movie.douban.com/top250?start='

top_urls = []

top_tag = re.compile(r'(.+?)')

top_content = []

top_num = 1

# ----------确定url地址池------------

# 因为top100，每页25部电影，故为4页,从零开始

for num in range(4):

top_urls.append(pre_url + str(num * 25))

# ------------抓取top100电影名称，并打印输出----------

top_tag = re.compile(r'(.+?)')

for url in top_urls:

content = urllib2.urlopen(url).read()

pre_content = re.findall(top_tag, content)

# 过滤并打印输出

for item in pre_content:

if item.find('&nbsp') == -1:

print 'Top' + str(top_num) + ' ' + item

top_num += 1

抓取用户头像图片

import urllib.request

import re

import time

#获取输入的帖子单页html

def getHtml2(url2):

html2=urllib.request.urlopen(url2).read().decode('utf-8')

return html2

#抽取图片相关列表，并下载图片

def gettopic(html2):

reg2=r'http://www.douban.com/group/topic/\d+'

topiclist=re.findall(reg2,html2)

x=0

#限制下载的图片数

for topicurl in topiclist:

x+=1

return topicurl

#下载图片到本地

def download(topic_page):

reg3=r'http://img3.douban.com/view/group_topic/large/public/.+\.jpg'

imglist=re.findall(reg3,topic_page)

i=1

download_img=None

for imgurl in imglist:

#取图片ID为文件名

img_numlist=re.findall(r'p\d{7}',imgurl)

for img_num in img_numlist:

download_img=urllib.request.urlretrieve(imgurl,'D:\python\code\girls\%s.jpg'%img_num)

time.sleep(1)

i+=1

print(imgurl)

return download_img

#调用函数

page_end=int(input('请输入结束时的页码：'))

num_end=page_end*25

num=0

page_num=1

while num<=num_end:

html2=getHtml2('http://www.douban.com/group/kaopulove/discussion?start=%d'%num)

topicurl=gettopic(html2)

topic_page=getHtml2(topicurl)

download_img=download(topic_page)

num=page_num*25

page_num+=1

else:

print('采集完成！')

本条技术文章来源于互联网，如果无意侵犯您的权益请点击此处反馈版权投诉

本文系统来源：php中文网

本站所有资源全部来源于网络，若本站发布的内容侵害到您的隐私或者利益，请联系我们删除！

合作方式

Copyright © 2004-2018 https://www.gxlcms.com/. All Rights Reserved.

豫ICP备19030742号