一.搜索引擎关键字提交接口
1.百度的关键词接口
>>> import requests
>>> kv={'wd':'Python'}
>>> r=requests.get("http://www.baidu.com/s",params=kv)
>>> r.status_code
200
>>> r.request.url
'http://www.baidu.com/s?wd=Python'
>>> len(r.text)
632103
import requests
keyword="Python"
try:
kv={"wd":keyword}
r=requests.get("https://www.baidu.com/s",params=kv)
print(r.request.url)
r.raise_for_status()
print(len(r.text))
except:
print("爬取失败")
2.360的关键词接口
>>> import requests
>>> kv={"q":"Python"}
>>> r=requests.get("https://www.so.com/s",params=kv)
>>> r.status_code
200
>>> r.request.url
'https://www.so.com/s?q=Python'
>>> len(r.text)
507207
>>>
import requests
keyword="Python"
try:
kv={"q":keyword}
r=requests.get("https://www.so.com/s",params=kv)
print(r.request.url)
r.raise_for_status()
print(len(r.text))
except:
print("爬取失败")
二. 网络图片的爬取
>>> import requests
>>> path="D:\abc.jpg"
>>> url="https://ss2.bdstatic.com/70cFvnSh_Q1YnxGkpoWK1HF6hhy/it/u=283161787,3800925061&fm=26&gp=0.jpg"
>>> r=requests.get(url)
>>> r.status_code
200
#‘wb’:表示以二进制写方式打开,只能写文件, 如果文件不存在,创建该文件;如果文件已存在,则覆盖写。
>>> with open(path,'wb') as f:
f.write(r.content)
26105
>>> f.close()
——爬取失败
import requests
import os
url="https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=1850541043,3575995320&fm=26&gp=0.jpg"
root="D:\abc.jpg"
path=root+url.split('/')[-1]
try:
if not os.path.exists(root):
os.mkdir(root)
if not os.path.exists(path):
r=requests.get(url)
with open(path,'wb') as f:
f.write(r.content)
f.close()
print('文件保存成功')
else:
print('文件已存在')
except:
print('爬取失败')
os即operating system(操作系统),Python 的 os 模块封装了常见的文件和目录操作。
os.path模块主要用于文件的属性获取,exists是“存在”的意思,所以顾名思义,os.path.exists()就是判断括号里的文件是否存在的意思,括号内的可以是文件路径。
os.mkdir() 方法用于以数字权限模式创建目录。
语法模式:os.mkdir(path[, mode])
path – 要创建的目录,可以是相对或者绝对路径。
mode – 要为目录设置的权限数字模式。
三.ip地址查询全代码
——爬取失败
import requests
url="http://m.ip138.com/ip.asp?ip="
try:
r=requests.get(url+"202.204.80.112")
r.raise_for_status()
r.encoding=r.apparent_encoding
print(r.text[-500:])
except:
print('爬取失败')