Python爬虫1—自动在新选项卡中打开子页面链接

我的python学习路径:
1)《简明python教程》 (用以了解python基础)

2)《Python编程快速上手—让繁琐工作自动化》
主要看:
    第11章即以后的内容:包括requests获取网页,BeautifulSoup解析HTML、selenium模块等等 
    第7章正则表达式部分
3)《Learning Scrapy》
    https://www.jianshu.com/p/6ebb898841bc (LearningScrapy 的中文版)
    https://scrapy-chs.readthedocs.io/zh_CN/latest/index.html(Scrapy官方文档的中文译版)

 

第11章——项目1

'''
只要在命令行中输入查找主题,计算机自动打开浏览器,并在新的选项卡中显示前面几项查询结果
1、用requests获得查询结果页面,
2、用BeautifulSoup找到HTML中的各项查询结果的链接
3、用webbrowser打开这些结果页
'''
import sys, requests, bs4, webbrowser, pyperclip

if len(sys.argv) > 1:
    key = ''.join(sys.argv[1:])  # 这里用切片将sys.argv先砍掉第一个元素(脚本文件名),再将剩下的列表转化为字符串格式(因为我们最终要用到的url是字符串类型)
else:
    key = str(pyperclip.paste())
    print(pyperclip.paste())
r = requests.get('https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=' + key)
print(r.status_code)

soup = bs4.BeautifulSoup(r.text, 'lxml') #这里传入的为什么是r.text呢
elems = soup.select('.t a')

numopen = min(5, len(elems))
for i in range(numopen):
    webbrowser.open(elems[i].get('href'))

# 疑点:用命令行参数时,如何向sys.argv中传入参数?

 

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
#coding:utf-8 import time import webbrowser as web import os import random #随机选择一个浏览器打开网页 def open_url_use_random_browser(): #定义要访问的地址 url='http://www.baidu.com' #定义浏览器路径 browser_paths=[r'C:\Program Files (x86)\Mozilla Firefox\firefox.exe', #r'C:\Program Files (x86)\Google\Chrome\Application\chrome.exe', #r'C:\Program Files (x86)\Opera\launcher.exe', #r'C:\Users\Administrator\AppData\Roaming\qianying\qianying.exe', #r'C:\Users\Administrator\AppData\Local\115Chrome\Application\115chrome.exe', #r'C:\Program Files (x86)\Internet Explorer\iexplore.exe', #r'D:\Program Files(x86)\SouExplorer\SogouExplorer\SogouExplorer.exe' ] #选择一个浏览器 def chose_a_browser_open_url(browser_path,url): #如果传入的浏览器位置不存在,使用默认的浏览器打开 if not browser_path: print ('using default browser to open') web.open_new_tab(url)#使用默认浏览器,就不再结束进程 else: #判断浏览器路径是否存在 if not os.path.exists(browser_path): print ('current browser path not exists,using default browser') #浏览器位置不存在就使用默认的浏览器打开 browser_path='' chose_a_browser_open_url(chose_a_browser_open_url,url) else: browser_task_name=browser_path.split('\\')[-1]#结束任务的名字 browser_name=browser_task_name.split('.')[0]#自定义的浏览器代号 print (browser_name) web.register(browser_name, None,web.BackgroundBrowser(browser_path)) web.get(browser_name).open_new_tab(url)#使用注册的浏览器打开网页 print ('using %s browser open url successful' % browser_name) time.sleep(5)#等待打开浏览器 # kill_cmd='taskkill /f /IM '+browser_task_name#拼接结束浏览器进程的命令 # os.system(kill_cmd) #终结浏览器 browser_path=random.choice(browser_paths)#随机从浏览器选择一个路径 chose_a_browser_open_url(browser_path,url) if __name__ == '__main__': print (''''' ***************************************** ** Welcome to python of browser ** ** Created on 2019-04-28 ** ** @author: Louise_ZOU ** ***************************************** ''') open_url_use_random_browser()
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值