python爬虫之requests库（3）

一.搜索引擎关键字提交接口

1.百度的关键词接口

>>> import requests
>>> kv={'wd':'Python'}
>>> r=requests.get("http://www.baidu.com/s",params=kv)
>>> r.status_code
200
>>> r.request.url
'http://www.baidu.com/s?wd=Python'
>>> len(r.text)
632103

import requests
keyword="Python"
try:
    kv={"wd":keyword}
    r=requests.get("https://www.baidu.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")

2.360的关键词接口

>>> import requests
>>> kv={"q":"Python"}
>>> r=requests.get("https://www.so.com/s",params=kv)
>>> r.status_code
200
>>> r.request.url
'https://www.so.com/s?q=Python'
>>> len(r.text)
507207
>>> 

import requests
keyword="Python"
try:
    kv={"q":keyword}
    r=requests.get("https://www.so.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")

二. 网络图片的爬取

>>> import requests
>>> path="‪D:\abc.jpg"
>>> url="https://ss2.bdstatic.com/70cFvnSh_Q1YnxGkpoWK1HF6hhy/it/u=283161787,3800925061&fm=26&gp=0.jpg"
>>> r=requests.get(url)
>>> r.status_code
200
#‘wb’：表示以二进制写方式打开，只能写文件， 如果文件不存在，创建该文件；如果文件已存在，则覆盖写。
>>> with open(path,'wb') as f:
	f.write(r.content)

	
26105
>>> f.close()

——爬取失败

import requests
import os
url="https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=1850541043,3575995320&fm=26&gp=0.jpg"
root="D:\abc.jpg"
path=root+url.split('/')[-1]
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r=requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)
            f.close()
            print('文件保存成功')
    else:
        print('文件已存在')
except:
    print('爬取失败')

os即operating system（操作系统），Python 的 os 模块封装了常见的文件和目录操作。

os.path模块主要用于文件的属性获取,exists是“存在”的意思，所以顾名思义，os.path.exists()就是判断括号里的文件是否存在的意思，括号内的可以是文件路径。

os.mkdir() 方法用于以数字权限模式创建目录。
语法模式：os.mkdir(path[, mode])
path – 要创建的目录，可以是相对或者绝对路径。
mode – 要为目录设置的权限数字模式。

三.ip地址查询全代码

——爬取失败

import requests
url="http://m.ip138.com/ip.asp?ip="
try:
    r=requests.get(url+"202.204.80.112")
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[-500:])
except:
    print('爬取失败')