爬虫之两种网页获取办法

第一种获取方法

import  requests
#将参数字典进行编码
from  urllib import  parse
#携带参数的get请求,携带参数的第二种方式
base_url = "http://search.sina.com.cn/?q=A%B9%C9&range=all&c=news&sort=time"


#生成参数

qs = {
    "q": "A股",

"c": "news",
    "range":'all',
"sort": "time",
    "ie":'utf-8'
}

#参数编码（专门用来进行编码,特别是有中文的）
params = parse.urlencode(qs)
print(params)

#拼接完整的url
full_url = base_url + params
print(full_url)
#发送请求
response = requests.get(full_url)

#获取网页
html = response.text
print(html)

第二种

import  requests
#将参数字典进行编码
from  urllib import  parse
#携带参数的get请求,携带参数的第二种方式
base_url = "http://search.sina.com.cn/?q=A%B9%C9&range=all&c=news&sort=time"


#生成参数

qs = {
    "q": "A股",
    "c": "news",
    "range":'all',
    "sort": "time",
    "ie":'utf-8'
}


#发送请求
response = requests.get(base_url,params=qs)

#获取网页
html = response.text
print(html)