现在大部分搜索引擎都有付费推广的内容,我们经常在使用搜索引擎的时候,会被这些付费搜索的东西所干扰,例如,搜索在线编程这个词条:
可以看到这个词条,在一页屏幕上面,前面几个结果都是推广,这其中大部分命中的关键词是“编程”,而不是在线编程,这就会扰乱我们视听,也会给我们带来很不友好的体验,那么我们是否可以通过云函数SCF来做一个简单的工具,来屏蔽掉这些广告呢?
回答是当然可以,本教程将会通过SCF+COS来实现一个简单的网页搜索小工具,至于为啥叫搜索小工具,而不是叫去广告搜索小工具,结尾的地方,再详细说。
寻找广告特点
在对列表页代码研究过程中,我们发现,非广告页代码有:
而推广内容,则没有这个内容,所以,可以通过正则化,或者XPATH等操作来对目标内容进行识别。
本地实验
>>>>
本地爬虫编写
根据对页面分析,我们可以得到这样一组参数:
ie=utf-8
pn=10
wd=在线编程
这组参数中,ie是控制编码格式,pn是翻页(偏移量),wd是搜索词汇,对代码编写如下:
import urllib.request
import re
page = 1
args_pn = (page-1) * 10
url = "http://www.baidu.com/s?ie=utf-8&pn=" + str(args_pn) + "&wd=" + urllib.request.quote("在线编程")
req_attr = urllib.request.urlopen(url)
result_list = re.findall("data-tools='(.*?)'",req_attr.read().decode("utf-8"))
for eve in result_list:
print(eve)
运行结果: