【小甲鱼Python】论一只爬虫的自我修养1

笔记

URL的一般格式为(带方括号[ ]的为可选项):

protocol://hostname[:port]/path/[;parameters][?query]#fragment

URL由三部分组成(以红色字符隔开):

第一部分是协议:http,https,ftp,file,ed2k……

第二部分是存放资源的服务器的域名系统或IP地址(有时候要包括端口号,各种传输协议都有默认的端口号,如http的默认端口为80)。

第三部分是资源的具体地址,如目录或文件名等。

 

urlllib包

我们主要研究urllib.request模块。

使用urlopen()访问网页:

import urllib.request
response = urllib.request.urlopen('http://www.fishc.com')
html = response.read()

html是二进制型的文档,可以使用解码操作:

#解码成utf-8的形式
html = html.decode('utf-8')

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值