1.百度/360搜索关键词提交
搜索引擎关键词提交接口
百度的关键词接口:
http://www.baidu.com/s?wd=keyword
360的关键词接口:
http://www.so.com/s?q=keyword
功能描述:
输入:需要搜索的关键词
输出:搜索引擎搜索到的条目数量
提示:通过搜索引擎关键词接口,利用自定义的关键词向搜索引擎申请服务,得到返回搜索引擎返回的内容,用len()函数获取条目数量
关键代码:r=requests.get(url,params=kv)
kv键值对用来传入欲搜索关键词
代码如下:
import requests
def gethtmltext(url):
try:
kv={
'wd':keyword}
r=requests.get(url,params=kv)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
print("爬取失败")
#if _name_ == "_main_":
url="http://www.baidu.com/s"
keyword=input("please input your requests:")
print(len(gethtmltext(url)))
实现效果:
2.网络图片的爬取和存储
网络图片链接的格式:
http://www.example.com/picture.jpg
从网上随意选择一张网页图片:
http://n.sinaimg.cn/sports/transform/282/w650h432/20190414/gmNm-hvscktf8159114.jpg
功能描述:
输入:网页图片URL链接
输出:将网页保存到本机指定目录与路径(root、path)
技术路线:requests-os
程序的结构设计:
我们使用了try/except
的框架保证爬取过程的稳定性与可靠性
首先if not
判断目的根目录是否存在,不存在就创建一个
接着if not
判断文件是否存在,如果不存在就执行爬虫请求,