python爬虫(一) 根据所需搜索内容,爬取百度搜索页面

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

#baidu search

import requests

url='http://www.baidu.com/s'
wd=input("请输入搜索内容:")
begin=int(input("请输入起始页:"))
end=int(input("请输入终止页:"))
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36',
'cookie': 'BIDUPSID=5304D4F4F4B54973B63BCAA20F32C4E2; PSTM=1586862649; BAIDUID=E956C2590B676BFD85CF1FCB7733FB59:FG=1; __yjs_duid=1_d709cd6e3103f296ec79c9d447ffdd341620308919594; BDUSS=VyZ3h3eW9IWUNYdElSc25qNFBpdW1sS054Wno2eFB6c25xTFV3QWJsQ1ZleEJoRVFBQUFBJCQAAAAAAAAAAAEAAACR8ImctsU3ODUyAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAJXu6GCV7uhgQT; BDUSS_BFESS=VyZ3h3eW9IWUNYdElSc25qNFBpdW1sS054Wno2eFB6c25xTFV3QWJsQ1ZleEJoRVFBQUFBJCQAAAAAAAAAAAEAAACR8ImctsU3ODUyAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAJXu6GCV7uhgQT; BDORZ=FFFB88E999055A3F8A630C64834BD6D0; delPer=0; PSINO=7; __yjs_st=2_MjQ5NzQzNGMyMTNjZTUyN2FmNTU2NTdkMDcwYzY5NTI0OTE1ZDdlNGM0ODdkYzUzOTcwNzllNjJiOTQzNTlkOTI2OGFjM2M5NWMzMWFhMTI2MmU5ZTk3OWZkMTMwOTM0YTRkNzI2ZjIyYTIxZTNiNjJhNzg2NzYwNDZkZjA3OGQxODY0MTQ1NmNjODRkZDIzZGUyYWJlYzY2ZTA2NzE1OTNhYWRhMmM1ZThkMzQ2ZjU0NGMyMmQxZDJjODBjN2E2NTY1NzQyYzgxNDc5OTI5MjM0Yjg5ZTc5YjRiMzMyZjQ1MzdhMzkzMmI3Y2E4OTk4OTk1YzdmMmFkZmYyMDI1M2M1ZDM3NDMzOTJhZTAwMWUwZDdiMTQ5Y2UwMjZjMTliXzdfMzAyOGRkZTc=; ab_sr=1.0.1_MmFmMDZmNTEyMzI4NTA4NjFiZTEyMmI5MTQ5YjBjYmZiZDc2NWMzZTdjMzY0ODAzYTBkYmVkOWQ1NmFlYjVjY2JlOWQwNWZjYzk3NTkzMDg5YjFlNjlmYmM1ZGYzZjJmMmY1MjhmNDFhYTJhY2Y2ZWJlOTgyNGYyZjQyYWYxZjRjNWE1ZjMwNGY4Y2ZmZTU1NjJjNGM5NDQ4NzkyZjA2ZmJhODQyOWY1YjU3NTExN2IyOWVmNTI5YzkzMzI4NGY5; BAIDUID_BFESS=6336DA0D64207FA798DAD5852097C7CC:FG=1; BDRCVFR[n9IS1zhFc9f]=mk3SLVN4HKm; H_PS_PSSID=26350; BA_HECTOR=81ag2ga125ak20a1h01ggpbd70r',
'referer': 'https://www.baidu.com/s?tn=02003390_43_hao_pg&isource=infinity&iname=baidu&itype=web&ie=utf-8&wd=1'
}
for page in range(begin,end+1):
    pn=(page-1)*10
    param = {
        'wd': wd,
        'pn':pn
    }
    response=requests.get(url,params=param,headers=headers)
    file=str(page)+".html"
    with open(file,'w',encoding='utf-8') as fp:
        fp.write(response.text)
  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值