python网络爬虫与信息提取实例

1.百度/360搜索关键词提交

搜索引擎关键词提交接口
百度的关键词接口：
http://www.baidu.com/s?wd=keyword
360的关键词接口：
http://www.so.com/s?q=keyword
功能描述：
输入：需要搜索的关键词
输出：搜索引擎搜索到的条目数量
提示：通过搜索引擎关键词接口，利用自定义的关键词向搜索引擎申请服务，得到返回搜索引擎返回的内容，用len()函数获取条目数量
关键代码：r=requests.get(url,params=kv)kv键值对用来传入欲搜索关键词

代码如下：

import requests
def gethtmltext(url):
    try:
        kv={
   'wd':keyword}
        r=requests.get(url,params=kv)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        print("爬取失败")
#if _name_ == "_main_":
url="http://www.baidu.com/s"
keyword=input("please input your requests:")
print(len(gethtmltext(url)))

实现效果：

2.网络图片的爬取和存储

网络图片链接的格式：
http://www.example.com/picture.jpg
从网上随意选择一张网页图片:
http://n.sinaimg.cn/sports/transform/282/w650h432/20190414/gmNm-hvscktf8159114.jpg

功能描述：
输入：网页图片URL链接
输出：将网页保存到本机指定目录与路径（root、path）
技术路线：requests-os
程序的结构设计：
我们使用了try/except的框架保证爬取过程的稳定性与可靠性
首先if not判断目的根目录是否存在，不存在就创建一个
接着if not判断文件是否存在，如果不存在就执行爬虫请求，