用python爬取搜索引擎关键词的简易方案

环境：python2.7

以360为例，用http截取工具获得url，具体的获取方法根据要求实现功能而定。例如：我要爬取她的关键词，就是截取以...word=结尾的一串url。

没有加入浏览器信息，系统版本，事实证明360对爬虫很友好呢=、=。

1、关于正则表达式的处理，根据实际情况自己写，没有特别统一的格式。

2、关于网站的编码，都可以修改处理，这里用的gbk。

#coding=gbk
'''
Created on 2014-9-23

@author: Administrator
'''
import urllib2
import urllib
import re

key = urllib.quote(raw_input("关键词:"))
url = 'http://sug.so.360.cn/suggest?callback=suggest_so&encodein=gbk&encodeout=gbk&format=json&fields=word,obdata&word='+key
req = urllib2.Request(url)
html = urllib2.urlopen(req).read()
ss = re.findall('\"word\"\:\"(.*?)\"',html)

for i in ss:
　　print i

 

转载于:https://www.cnblogs.com/lovecc/p/3992040.html