【亲测好用！】shell批量采集百度下拉框关键词

【亲测好用！】shell批量采集百度下拉框关键词

 SEO工具  方法  11个月前 (11-18)  2153浏览 3条评论 百度已收录

一直想写一篇用shell采集百度下拉框关键词的教程，个人感觉用shell来采集的话速度和效率都会更高一点。因为前面写过一篇用火车头采集百度下拉框关键词的教程，操作步骤稍微多了些，很多朋友看完了仍然不知道怎么做，然后QQ问我，教程都写得很清楚明了，只要对照着来做，一定会成功的。

——————————-2015年5月22日补充——————————-

刚看到小五给了一个可以批量采集百度下拉框的百度接口，简单修改下，已经用shell实现了批量采集，代码如下：

采集单个词测试一下：

curl -s "https://sp0.baidu.com/5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=seo"|iconv -f gbk -t utf-8|awk -F":" '{print $4}'|grep -oP '(?<=").*?(?=")'|sed 's/,//g'

效果如下图所示：

 

 

指定一批母词，批量采集代码：

cat kws.txt|while read line;do curl -s "https://sp0.baidu.com/5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=$line"|iconv -f gbk -t utf-8|awk -F":" '{print $4}'|grep -oP '(?<=").*?(?=")'|sed 's/,//g';done 

效果如下图，如果你的母词很多的话，建议在代码后面加一个重定向命令，将结果实时写入到文件中，这样比较好复制一些。给出完整代码吧：

 

cat kws.txt|while read line;do curl -s "https://sp0.baidu.com/5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=$line"|iconv -f gbk -t utf-8|awk -F":" '{print $4}'|grep -oP '(?<=").*?(?=")'|sed 's/,//g';done >ok.txt

结果会实时写入ok.txt文件中。

 

 

shell批量采集百度下拉框关键词另一个可用的百度API：

cat kws.txt|while read line;do curl -s http://suggestion.baidu.com/su?wd=$line=$line|iconv -f gbk -t utf-8|grep -oP '(?<=").*?(?=")'|egrep -v "baidu|,";done

效果如下图：

采集效率如下图，217个母词，不到一分钟采集到了416个下拉词，效率如何？

转载请注明：方法SEO顾问 » 【亲测好用！】shell批量采集百度下拉框关键词