使用python爬取（搜索引擎关键字提交）

大部分使用的搜索引擎是百度和360
百度http://www.baidu.com/s?wd=keyword
360 http://www.so.com/s?q=keyword

一、使用百度爬取与python相关的内容

>>> import requests #引库
>>> kv={'wd':'python'} #定义一个字典，用于修改后面的url
>>> r=requests.get("http://www.baidu.com/s",params=kv)#给这个url加上字典的内容
>>> r.status_code #返回状态码，判断访问是否成功
200
>>> r.request.url#查看访问的url地址
'http://www.baidu.com/s?wd=python'
>>> len(r.text)#打印文本的长度
426366

代码框架

import requests
keyword="python"
try:
    kv={'wd':'keyword'}
    r=requests.get("http://www.baidu.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")

---

二、使用360爬取与java相关的内容
与爬取百度大体相似

import requests
kv1={'q':'java'}
>>> r1=requests.get("http://www.so.com/s",params=kv1)
>>> r1.status_code
200
>>> r1.request.url
'https://www.so.com/s?q=java'
>>> len(r1.text)
212881

代码框架

import requests
keyword="java"
try:
    kv={'q':'keyword'}
    r=requests.get("http://www.so.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")