from urllib import request,parse
url = 'http://www.nnzhp.cn'
req = request.urlopen(url) #打开一个url,发get请求
content = req.read().decode() #获取返回结果,req.read()方法返回的是一个二进制的数据,需要进行解码,故此处调用了decode()方法
print(content) #结果输出:html页面代码,是一个字符串类型
fw = open('baidu.html','w',encoding='utf-8')
fw.write(content) #把获取到的html页面内容写入baidu.html文件
print("=============get请求=================")
#发送get请求时,请求参数直接跟url地址写在一块
import json
url='http://api.nnzhp.cn/api/user/stu_info?stu_name=xiaohei'
req = request.urlopen(url)
content = req.read().decode()
print(content)
res_dic = json.loads(content) #返回的结果如果是一个json格式的字符串,则转成字典
if res_dic.get('error_code') == 0:
print('测试通过')
else:
print('测试失败', res_dic)
print("=============post请求================")
#发送post请求时,需要使用parse.urlencode()方法给我们拼接好参数;
#发送post请求时,request.urlopen()方法需要带上post请求的相关参数
url = 'http://api.nnzhp.cn/api/user/login'
#定义请求数据
data = {
'username':'admin',
'passwd':'aA123456'
}
data = parse.urlencode(data) #urlencode,自动拼接好参数,拼接后的参数格式为:xx=xx&xx=11,urlencode()返回的是字符串类型
req = request.urlopen(url,data.encode()) #发post请求
print(req.read().decode())
#网络爬虫:利用网络编程技术去访问其他网站,抓取网页的内容信息,得到信息后,再对信息进行调整,
#如果是想把抓取到的内容嵌入到自己公司网站中,则需要跟公司的网站样式风格保持,则需要对HTML、JS、CSS等等进行相关的调整
#调整好信息后,可以把该部分信息嵌入到自己的网站中,或者存入数据库中等等
转载于:https://www.cnblogs.com/mtszw/p/9061566.html