python 0基础学习笔记14：爬虫

#爬取网页
import urllib.request
#向指定的url地址发起请求，并返回服务器响应的数据（文件对象）
response = urllib.request.urlopen('http://www.baidu.com')
#读取文件的全部内容，会把读取到的数据赋值给一个字符串变量
data = response.read()#.decode('utf-8')
print(data)
print(type(data))
#读取一行
data1 = response.readline()
#读取文件的全部内容，会把读取到的数据赋值给一个列表变量
data2 = response.readlines()
print(data2)
print(type(data2))
print(len(data2))
print(type(data2[100].decode('utf-8')))#编码以后才是字符串
# #将爬取到的网页写入到文件
with open(r'E:\程序\MLP\爬虫\file\file.html','wb') as f:
    f.write(data)

#response属性：
print(response.info())#但会当前环境的有关信息
print(response.getcode())#返回状态码，200表示成功，304说明有缓存
if response.getcode() == 200 or response.getcode() ==304:
    #处理
    pass
print(response.geturl())#返回当前正在爬取的URL地址
url = r''
print(urllib.response.unquote(url))#解码
print(urllib.response.quote(url))#编码

#法二：将爬取到的网页直接写入文件,urlretrieve在执行过程中，会产生一些缓存
urllib.request.urlretrieve('http://www.baidu.com',filename=r'E:\程序\MLP\爬虫\file\file2.html')
#清除缓存
urllib.request.urlcleanup()

#设置超时，若网页长时间为响应，系统判断超时，无法爬去
for i in range(1,100):
    try:
        responce = urllib.request.urlopen('http://www.baidu.com',timeout= 0.5)
        print(len(responce.read().decode('utf-8')))
    except:
        print('请求超时，继续下一个爬取')

HTTP请求：进行客户端与服务器端之间的消息传递时使用：

GET：通过URL网址传递信息，可以直接在URL网址上添加要传递的信息
POST：可以向服务器提交数据，是一种比较流行的比较安全的数据传递方式
PUT：请求服务器存储一个资源，通常要指定存储的位置
DELETE：请求服务器删除一个资源
HEAD：请求获取对应的HTTP报头信息
OPTIONS：可以获取当前UTL所支持的请求类型

#Get请求：特点：把数据拼接到请求路径的后面传递给服务器，优点是速度快，缺点是承载的数据量小，不安全
import urllib.request
url = '这里写服务器地址'
response = urllib.request.urlopen(url)
data = response.read().decod('utf-8')
print(data)
print(type(data))

json数据解析：

概念：一种保存数据的格式
作用：可以保存本地的json文件，也可以将json串进行传输，通常将json称为轻量级的传输方式
json文件组成：
{}:代表对象（字典）
[]:代表牌列表
：代表键值对
，分隔两个部分

#将json格式的字符串转为python数据类型的对象
import json
jsonStr = '{"name":"tom","age":19}'#xml文件的内容
jsonData = json.loads(jsonStr)
print(jsonData)#{'name': 'tom', 'age': 19}
print(type(jsonData))#<class 'dict'>

#将python数据类型的对象转为json格式的字符串
jsonData2 = {'name': 'tom', 'age': 19}
jsonStr2 = json.dumps(jsonData2)
print(jsonStr2)#{"name": "tom", "age": 19}
print(type(jsonStr2))#<class 'str'>

#读取本地的json文件：
path1 = r''
with open(path1,'rb') as f:
    data = json.load()#不加s就是读取本地
    print(data)
    print(type(data))#<class 'dict'>此时读的是字典类型

#写本地的json文件：
path2 = r''
jsonData3 = {'name': 'tom', 'age': 19}#现在是字典格式
with open(path2,'w') as f:
    json.dump(jsonData3,f)#写进去就是json格式

Post请求：
特点：把参数进行打包，单独传输
优点：数量大，安全（当对服务器数据进行修改时建议使用post）
缺点：速度慢

import urllib.request
import urllib.parse

ur1 = '这里写服务器地址'
#将要发送的数据合成一个字典，字典的键值去网址里找，一般为input标签的name属性的值
data = {'username':'tom','passwd':'666'}
#将要发送的数据进行打包,记住编码
postData = urllib.parse.urlencode(data).encode('utf-8')
#请求体
req = urllib.request.Request(ur1,data=postData)
#请求
req.add_header('........')
response = urllib.request.urlopen(req)
print(response.read().decode('utf-8'))