python爬虫（一）urllib库基本使用

注，以下内容均为python3.5.*代码

学习爬虫，首先有学会使用urllib库，这个库可以方便的使我们解析网页的内容，本篇讲一下它的主要用法

解析网页

#!/usr/bin/env python3
# coding=utf-8

import urllib.request

request = urllib.request.Request("http://www.flycold.cn/python/test_post.html")
response = urllib.request.urlopen(request)
print (response.read())

POST个GET传输数据

学过前端的人都知道，我们平时对于用户登录之类的，都是在一个表单上进行，那么表单经常用到的就是post发送或者get发送。区别在于后者对于提交的内容会直接显示到url上。那么下面让我们尝试实现他们。
测试页面 在http://www.flycold.cn/python/test_post.html和http://www.flycold.cn/python/test_get.html上填写数据提交到http://www.flycold.cn/python/check.php

#POST
values = {"username":"www.flycold.cn","passwd":"python"}
date = urllib.parse.urlencode(values).encode(encoding='UTF8')
url = "http://www.flycold.cn/python/check.php"
request = urllib.request.Request(url,date)
response = urllib.request.urlopen(request)
page = response.read().decode("utf8")
print(page)

#GET
values = {"username":"www.flycold.cn","passwd":"python"}
date = urllib.parse.urlencode(values)
url = "http://www.flycold.cn/python/check.php"
get_url = url + "?" + date
request = urllib.request.Request(get_url)
response = urllib.request.urlopen(request)
page = response.read().decode("utf8")
print(page)

这样就模拟了简单的登录，当然，大部分网站是无法这样轻易的就登录的，但这段代码是模拟登录的核心。