学习爬虫后写了篇爬韩寒新浪博客文章的代码

最新推荐文章于 2024-09-12 16:10:04 发布

老夫聊发少年狂

最新推荐文章于 2024-09-12 16:10:04 发布

阅读量998

点赞数

分类专栏： Python 爬虫文章标签： Python 爬虫

本文链接：https://blog.csdn.net/Java_WZP/article/details/39807073

版权

Python 同时被 2 个专栏收录

1 篇文章 0 订阅

订阅专栏

爬虫

1 篇文章 0 订阅

订阅专栏

import urllib
import time
url   = ['']*50
i=0
page  = urllib.urlopen('http://blog.sina.com.cn/s/articlelist_1191258123_0_1.html').read()
title = page.find(r'<a title=')
href  = page.find(r'href=',title)
html  = page.find(r'.html',href)

while title!=-1 and href!=-1 and html!=-1 and i < 50:
	url[i]= page[href +6:html+5]
	print url[i]
	title = page.find(r'<a title=',html)
	href  = page.find(r'href=',title)
	html  = page.find(r'.html',href)
	i+=1
else:
	print('Find end!')
j=0
while j<50:
	cotent = urllib.urlopen(url[j]).read()
	open(r'hanhan/'+url[j][-26:],'w+').write(cotent)
	time.sleep(15)
	j=j+1

else:
	print('Download all!')