百度关键词爬取

#-*- coding: UTF-8 -*-
import urllib,urllib2,re,time
file = open('baidukey.txt','r')
content = file.read().split('/n')
file.close()
baidukey=[]
savefile=''
number =100
count = 0
for key in content:
    url = 'http://www.baidu.com/s?wd=' + urllib2.quote(key)
    print url
    req = urllib2.Request(url)
    raw = urllib2.urlopen(req)
    text = raw.read()#获得搜素页面内容
    rst = re.compile(r'nowrap class="f14"><a href="s.+?>(.+?)</a?>',re.U&#124;re.I&#124;re.S)
    m = rst.findall(text)
    if m :
        print '抓取解析成功'
    else:
        print '解析'+url +'时有问题'
    for kkey in m:
        if kkey not in baidukey:
            baidukey.append(kkey)
            savefile = savefile +kkey +'/n'
            count = count + 1
            #print savefile
    if count > number:
        file = open('savefile.txt','a')
        file.write(savefile)
        file.close()
        savefile=''
        count=0
file = open('savefile.txt','a')
file.write(savefile)
file.close()
print '抓取结束。。。。'


'baidukey.txt'内容:
杭州电子科技大学

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值