python网络编程100例_python网络编程

一.urllib模块介绍

import urllib

先看个小例子，打印结果为一个socket连接

示例一：import urllib

url=r'http://www.baidu.com'

fp=urllib.urlopen(url)

print fp

>>>

>

>>>

1.基本操作

urlopen返回对象提供方法

read(),readline(),readlines(),close() 这些方法的使用方法与文件对象完全一样

info() 返回一个httplib.HTTPMessage对象，表示远程服务器返回的头信息

getcode() 返回HTTP状态码，如果是http请求，200请求成功完成，404请求网址未找到

geturl() 返回请求的url

示例二：import urllib

url=r'http://www.baidu.com'

fp=urllib.urlopen(url)

#print fp.read() #打印网页内容，相当于一个大的字符串，和右键查看网页源代码效果一样

#print fp.readline() #打印一行内容，是一个元素

#print fp.readlines() #全部内容以列表的形式打印出来

print fp.info() #打印头信息

print fp.getcode() #打印返回状态码

print fp.geturl() #打印请求的url

fp.close() #关闭连接

2.urllib.urlretrieve

临时存放 urllib.urlretrieve(url)

本地存放 urllib.urlretrieve(url,'文件的绝对路径')

示例三：import urllib

url=r'http://www.baidu.com'

filename=urllib.urlretrieve(url)

print type(filename) #元组类型

print filename #第一个参数为临时文件路径，第二个参数表示服务器的响应头信息

filename1=urllib.urlretrieve(url,'baidu.html') #在统计目录下生成一个baidu.html文件

>>>

('c:\\users\\zhao\\appdata\\local\\temp\\tmpzjmhu6', )

>>>

3.urllib.urlcleanup()

清除由于urllib.urlretrieve()所产生的缓存

4.urllib.quot 和urllib.quote_plus

区别在于是否解码符号/

示例四：import urllib

url=r'http://www.baidu.com/!@#/'

#url编码

print urllib.quote(url)

print urllib.quote_plus(url)

#url解码

print urllib.unquote(urllib.quote(url))

print urllib.unquote_plus(urllib.quote_plus(url))

>>>

http%3A//www.baidu.com/%21%40%23/

http%3A%2F%2Fwww.baidu.com%2F%21%40%23%2F

http://www.baidu.com/!@#/

http://www.baidu.com/!@#/

>>>

5.urllib发送get和post请求

两种方式区别如下：(粘贴自百度知道，个人觉得总结的比较全面)

①get是从服务器上获取数据，post是向服务器传送数据；

②get是把参数数据队列加到提交表单的ACTION属性所指的URL中，值和表单内各个字段一一对应，在URL中可以看到。post是通过HTTP post机制，将表单内各个字段与其内容放置在HTML HEADER内一起传送到ACTION属性所指的URL地址。用户看不到这个过程；

③对于get方式，服务器端用Request.QueryString获取变量的值，对于post方式，服务器端用Request.Form获取提交的数据；

④get传送的数据量较小，不能大于2KB。post传送的数据量较大，一般被默认为不受限制。但理论上，IIS4中最大量为80KB，IIS5中为100KB；

⑤get安全性非常低，post安全性较高。但是执行效率却比Post方法好。

建议：

①get方式的安全性较Post方式要差些，包含机密信息的话，建议用Post数据提交方式；

②在做数据查询时，建议用Get方式；而在做数据添加、修改或删除时，建议用Post方式。

示例五：

假设我们本地有一段test.php代码如下：<?php

print_r("get params:\n");

var_dump($_GET);

print_r("post params:\n");

var_dump($_POST);

现在发送get和post请求：import urllib

url=r'http://127.0.0.1:8888/test.php'

get_params=urllib.urlencode({'name':'zhzhgo','age':25})

post_params=urllib.urlencode({'i':1,'j':2})

#print get_params,type(get_params) #age=25&name=zhzhgo

fp=urllib.urlopen(url+"?"+get_params,post_params)

print fp.read()

>>>

get params:

array(2) {

["age"]=>

string(2) "25"

["name"]=>

string(6) "zhzhgo"

}

post params:

array(2) {

["i"]=>

string(1) "1"

["j"]=>

string(1) "2"

}

>>>

二.urllib2模块

urllib与urllib2需要配合使用,区别如下：

①urllib2可以接受Request类来设置url请求的headers，urllib仅可以接受url；

②urllib提供urlencode方法生成请求参数字符串，urllib2没有；

③urllib2仅有quote无quote_plus相关方法；

④urllib2无urlretrieve方法。

示例六：#应用urllib2接受Request类来设置url请求的headers来跳过登陆

import urllib,urllib2

import base64

url=r'http://127.0.0.1:8080/test.html'

#strip()默认删除空白符，此时删除换行符(包括'\n','\r','\t',' ')

base64string=base64.encodestring('admin:123456').strip()

authheader="Basic "+base64string

req=urllib2.Request(url)

req.add_header('Authorization',authheader)

urllib2.urlopen(req)

三.urlparse模块

urlparse模块主要是把url拆分为6部分，并返回元组

示例七：import urlparse

url=r'http://www.baidu.com/user/index.html;18?name=zhzhgo&age=25!#8888'

res=urlparse.urlparse(url)

print res

print res[0]

print res[1]

>>>

ParseResult(scheme='http', netloc='www.baidu.com', path='/user/index.html', params='18', query='name=zhzhgo&age=25!', fragment='8888')

http

www.baidu.com

>>>