python 如何获取网页源代码并保存本地_python 爬取csdn网页并保存博客到本地

这几天一直在学用python爬网页 ， 现在是用urllib2，cookie等模块获取了csdn的博客源码，然后打算把所有博客都保存到本地；这就涉及到了解析html， 由于对正则的理解不太深。。。就用了第三方工具模块：美丽的汤---BeautifulSoup  ，可以自己百度安装，使用教程，很容易上手： 代码不健壮。。主要是容易出现乱码。。 有时候遇到全角的时候也会出bug，以后再完善吧。

先贴张保存到本地的图：

源码如下：希望那里写的不好，多多指正。。一块学习。PS：后来才知道，这可以刷访问量(非本意。。。)

# -*- coding: utf-8 -*-

import urllib,urllib2,cookielib,re,socket

import os,sys,time

from bs4 import BeautifulSoup

#防止编码乱码#

reload(sys)

sys.setdefaultencoding('utf-8')

####

url='http://blog.csdn.net/shomy_liu'# csdn的账号

headers={

'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW6