python学习---urlparse模块

原创 2012年03月29日 10:44:43

urlparse     :

url = ’http://netloc/path;param?query=arg#frag’

parsed = urlparse(url)

print parsed

结果:ParseResult(scheme=’http’, netloc=’netloc’, path=’/path’,params=’param’, query=’query=arg’, fragment=’frag’)



urlsplit()


parsed = urlsplit(url)

print parsed 

结果:SplitResult(scheme=’http’, netloc=’user:pwd@NetLoc:80’,path=’/p1;param/p2;param’, query=’query=arg’, fragment=’frag’)注意,urlsplit比urlparse的数组少了一项!

urldefrag() 过滤掉了fragment


parsed = urlparse(url)

print parsed.geturl()  结果为原url

urlunparse  url重构,丢弃url多余的部分


 urljoin


print urljoin(’http://www.example.com/path/file.html’,’anotherfile.html’)   结果:http://www.example.com/subpath/file.html

print urljoin(’http://www.example.com/path/file.html’,’../anotherfile.html’)结果:http://www.example.com/path/subpath/file.












python的urlparse

urlparse主要是URL的分解和拼接,分析出URL中的各项参数,可以被其他的URL使用。 主要的函数有: 1、urlparse 将URL分解为6个片段,返回一个元组,包括协议、基地址、相对地...
  • Angelahhj
  • Angelahhj
  • 2015年12月24日 20:13
  • 3733

python模块学习---urllib,urlparse(3.0以后有改动)

最新版的python3.3.0已经发布了。相较于python3.0,3.2的改动并不大。但网上的大量的教程等大都以2.x版本为基础。这为想要从python3.0学起的菜鸟带来了不少的困难。 作为一只菜...
  • xing_anksh
  • xing_anksh
  • 2013年12月10日 11:11
  • 21960

Python urlparse总结

res = urlparse.urlparse(url,scheme,allow_fragments) 返回一个6-tuple,类型是ParseResult(scheme, netloc, path...
  • Acceptedxukai
  • Acceptedxukai
  • 2013年04月15日 22:09
  • 9347

Python之urlparse模块

一、简介 urlparse库用于把url解析为各个组件,支持file,ftp,http,https, imap, mailto, mms, news, nntp, prospero, rsync,...
  • VIP_WangSai
  • VIP_WangSai
  • 2016年07月22日 19:32
  • 8339

Web编程之一 urlparse

Web编程之一 urlparse urldefrag(url) # 将url分解成去掉fragment的新url和去掉的fragment的二元组 #return tuple(defragmented...
  • kittyboy0001
  • kittyboy0001
  • 2014年03月19日 20:06
  • 2545

python核心编程学习笔记-2016-09-10-02-Web编程(二)

20.2.1 统一资源定位符         URL(Uniform Resource Locator,统一资源定位符),它是一个Web地址,用来定位一个文档,或者调用CGI程序来为客户端产生一个文档...
  • baidu_21088863
  • baidu_21088863
  • 2016年09月10日 09:30
  • 274

学习python写网络爬虫(四)

python自带的robotparser模块可以解析robots.txt文件,可以使用urllib2来支持代理,但是python的http模块的requests来实现该功能会更友好。可以通过使用dat...
  • gyhguoge01234
  • gyhguoge01234
  • 2016年09月24日 18:31
  • 554

Python之美[从菜鸟到高手]--urlparse源码分析

urlparse是用来解析url格式的,url格式如下:protocol :// hostname[:port] / path / [;parameters][?query]#fragment,其中;...
  • yueguanghaidao
  • yueguanghaidao
  • 2013年11月17日 22:41
  • 6276

使用Python中的urlparse、urllib抓取和解析网页(一)

黄聪:使用Python中的urlparse、urllib抓取和解析网页(一)   对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解...
  • anlun
  • anlun
  • 2015年02月02日 08:42
  • 454

使用Python中的urlparse、urllib抓取和解析网页(一)

对搜索引擎、文件索引、文档转换、数据检索、站点备份或迁移等应用程序来说,经常用到对网页(即HTML文件)的解析处理。事实上,通过Python语言提供的各种模块,我们无需借助Web服务器或者Web浏览器...
  • dxftctcdtc
  • dxftctcdtc
  • 2013年07月10日 14:58
  • 568
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:python学习---urlparse模块
举报原因:
原因补充:

(最多只允许输入30个字)