搜索引擎中下拉框的采集方法

通常采集关键词的办法是直接对要采集的部分审查元素或者查看源代码找到对应部分前后唯一的代码进行前后截取。但是这并不适合下拉框的采集，因为下拉框中的词在该网页的源代码中并不存在。所以我们想要采集下拉框的词就必须找到他们存在的真实网址。
两种方法：
1.利用F12找到网址
2.Fidder
以必应浏览器为例，在搜索框中搜索一个产品词汇，比如：china，点击搜索，出现如下界面，**注意：先不要让他出现下拉框，可以点击空白处，方便找到关键词存在的网址。
必应中搜索china(https://img-blog.csdn.net/20161017095514786)
接着按F12，找到其中的Network(从左往右数第四个)
F12选择NETWORK
这时候需要点击rod mill后边的空白部分，使其出现下拉框，也就是我们需要采集的部分，这时候我们会看到，在下方会出现一个http://global.bing.com/AS/Suggestions开头的一个网址（下拉框出现的时候F12下边新出现的网址就是关键词存在的网址），我们可以双击查看
关键词的真实网址
，这时候我们就可以利用源代码，使用代码截取采集关键词了。
http://global.bing.com/AS/Suggestions?pt=page.serp&bq=china&mkt=en-us&qry=china&cp=5&o=hs&cvid=07BBDFCEB7F54BCDA26F4E1BD4C716FF（我们只需要替换qry后边的china就可以实现批量采集了。）
第二种就是利用软件，原理其实和F12是一样的，找到真实网址，Fidder可以抓取网址，重复第一种的操作，然后可以找到同样的网址（具体我就不说明啦，操作还是很简单的，同时这是一个很棒的软件，安利一波~）