爬虫

import requests
# 这里必须在cmd里pip install requests一下，不然会报错
import re
import random

r = requests.get("http://www.baidu.com")
print(r.status_code)  # 访问状态码，如果是200表示访问成功
print(r.encoding)  # 从header中猜测的响应内容编码方式
# 如果header中不存在charset 则认为编码为ISO-8859-1
print(r.apparent_encoding)   # 分析出的相应内容编码方式
r.encoding = 'utf-8'   # 如果不加这句出来的是乱码
print(r.text)  # 打印网页内容 字符串形式
print(type(r))
print(r.headers)
print(r.content)

print("=================post=========================")
payload = {'key1': 'value1', 'key2': 'value2'}
r1 = requests.post('http://httpbin.org/post', data=payload)
# r1 = requests.post('http://httpbin.org/post', data='ABC')
print(r1.text)
# 向url post一个字典  自动编码为form表单
# 向url post一个字符串  自动编码为data
print("put 方法和post类似  但是put会将原有数据覆盖掉")

kv = {'key1': 'value1', 'key2': 'value2'}
r = requests.request('GET', 'http://python123.io/ws', params=kv)
print(r.url)


#
# # 通用代码框架
# def getHTMLText(url):
#     try:
#         r = requests.get(url, timeout=30)
#         r.raise_for_status()
#         r.encoding = r.apparent_encoding
#         return r.text
#     except:
#         return "产生异常"
#
# if __name__== "__main__ ":
#     url = "http://www.baidu.com"
#     print(getHTMLText(url))
# # 好像写的有问题