-- coding: utf-8 --
”’
weiwei爬虫4.2
1、快速爬取网页(3种读取方法)
2、信息写入文档(2种读取方法)
3、获取文件信息
4、获取网页状态
5、获取url
6、url编码、解码
”’
===========================================
#网页读取方法1
import urllib.request
file=urllib.request.urlopen(‘http://www.sohu.com‘)
data=file.read()#读取文件的全部内容,赋值给一个字符串变量
print(data)
#网页读取方法2
dataline=file.readline()#读取文件的一行内容
print(dataline)
—————————————–
#网页读取方法3
file=urllib.request.urlopen(‘http://www.baidu.com‘)
datalines=file.readlines()#读取文件的全部内容,赋值给列表变量,
print(datalines)
=========================================
#文件输出方法1
#创建并写入一个html文件
fhandle=open(‘C:/Users/Administrator/Desktop/数据分析与数据挖掘记录/1.html’,’wb’)#以二进制读的形式创建文件文件
fhandle.write(data)#写文件
fhandle.close()#文件关闭
——————————————
#文件输出方法2
#直接将爬取的信息直接写入本地文件
filename=urllib.request.urlretrieve(‘http://edu.51cto.com‘,filename=’C:/Users/Administrator/Desktop/数据分析与数据挖掘记录/2.html’)
#清理缓存
urllib.request.urlcleanup()
========================================
#得到文件信息
file.info()
========================================
#获取当前爬取页面的状态码
file.getcode()
=======================================
#获取当前爬取的url地址,使用geturl()实现
file.geturl()
=======================================
#针对含有不规则字符的url进行编码
urllib.request.quote(‘http://sina.com.cn‘)
#针对含有不规则字符的url进行解码
urllib.request.unquote(‘http%3A//sina.com.cn’)