python爬虫基础（个人笔记）

1.urlib2库的基本使用
import urllib2
#获取网页 调用的是 urllib2 库里面的 urlopen 方法，传入一个 URL，这个网址是百度首页
#urlopen一般接受三个参数，urlopen(url, data, timeout)
#url 即为网址，data 是访问时要传送的数据，timeout设置超时时间
# data，timeout是可以不写的，data 默认为 None，timeout 默认为 socket

response = urllib2.urlopen("http://www.baidu.com") 

#输出网页 response 对象有一个 read 方法，可以获取网页内容。

print( response.read())

2，Request

import urllib2

#urlopen 可以传入一个 request 请求，构造时需要传入 Url,Data 等;

request = urllib2.Request("http://www.baidu.com")

response = urllib2.urlopen(request)

print (response.read())

3.post模拟登陆

import urllib

import urllib2

#定义一个字典，名字为 values，参数设置 username 和 password(帐号，密码)

values = {"username":"134567@qq.com","password":"1234"}

#用 urllib 的 urlencode 方法将字典编码

data = urllib.urlencode(values)

#定义url

url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"

#传入url和data

request = urllib2.Request(url,data)

response = urllib2.urlopen(request)

print response.read()

#第二种写法</