Python+Selenium:Google patent数据爬取

已于 2022-12-14 15:57:54 修改
阅读量1k 收藏 1
点赞数
分类专栏： Python 文章标签： python selenium 开发语言
于 2022-11-29 16:27:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miao0967020148/article/details/128099965
版权

准备工作，已搭建Python环境，安装Selenium

pip install selenium -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

步骤1：

根据Chrome版本下载ChromeDriver

下载链接地址：

ChromeDriver - WebDriver for Chrome - Downloads

如在帮助——>关于Chrome，找到版本号

下载ChromeDriver 107 最新release版本就可以 

步骤2：检验ChromeDriver

可以在爬虫类文件中初始化程序，检验ChromeDriver是否可执行


                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  醉雨轩^_^
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    1
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  2
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Python:实现抓取谷歌结果算法(附完整源码)

				
			

			

				

					希望我的博客，能帮上你解决学习中工作中所遇到的问题
				

				

					08-08
					
					308
					
				

			

		

		

			
				
Python:实现抓取谷歌结果算法(附完整源码)

			
		

	



                

              
                



	

		

			

				
					
基于python+selenium的知网文献自动爬取源码+exe可执行文件（期末python大作业）.zip

					
最新发布

				
			

			

				

					07-01
				

			

		

		

			
				
基于python+selenium的知网文献自动爬取源码+exe可执行文件（期末python大作业）.zip基于python+selenium的知网文献自动爬取源码+exe可执行文件（期末python大作业）.zip基于python+selenium的知网文献自动爬取源码+exe可执行文件（期末python大作业）.zip基于python+selenium的知网文献自动爬取源码+exe可执行文件（期末python大作业）.zip基于python+selenium的知网文献自动爬取源码+exe可执行文件（期末python大作业）.zip基于python+selenium的知网文献自动爬取源码+exe可执行文件（期末python大作业）.zip基于python+selenium的知网文献自动爬取源码+exe可执行文件（期末python大作业）.zip
【1】项目代码完整且功能都验证ok，确保稳定可靠运行后才上传。欢迎下载使用！在使用过程中，如有问题或建议，请及时私信沟通，帮助解答。
【2】项目主要针对各个计算机相关专业，包括计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师或企业员工使用。
【3】项目具有较高的学习借鉴价值，不仅适用于小白学习入门进阶。也可作为毕设项目、课程设计、大作业、初期项目立项演示等。
【4】如果基础还行，或热爱钻研，可基于此项目进行二次开发，DIY其他不同功能，欢迎交流学习。

【备注】
项目下载解压后，项目名字和项目路径不要用中文，否则可能会出现解析不了的错误，建议解压重命名为英文名字后再运行！有问题私信沟通，祝顺利！

			
		

	



                


  
              

                


	

		

			

				
					
PatentScraper:使用Google Patent API从Google抓取专利并将其存储在MongoDB中的脚本

				
			

			

				

					05-20
				

			

		

		

			
				
#PatentScraper
 使用Google Patent API从Google抓取专利并将其存储在MongoDB中的脚本
＃＃内容：
 patentScraper.py
 exampleJSON.json

			
		

	





	

		

			

				
					
爬取Google patent上公司所有专利

					
热门推荐

				
			

			

				

					弟弟王伟帆的博客
				

				

					06-14
					
					1万+
					
				

			

		

		

			
				
@[TOC]爬取Google patent上公司所有专利
需求：给出了需要爬取的公司列表，形式如下：
[‘DURATA THERAPEUTICS INC’,‘DYNAVAX TECHNOLOGIES CORP’]
要求将公司名输入到google patent的搜索框中，转至的界面里会出现下载的按钮。

通过F12可以找到Download的链接：
https://patents.google.com...

			
		

	



		

			
		



	

		

			

				
					
Python+Selenium:并行爬取Google patent数据

				
			

			

				

					miao0967020148的专栏
				

				

					12-01
					
					842
					
				

			

		

		

			
				
Python+Selenium:并行爬取Google patent数据
实现了多线程的爬取数据程序
并将爬取的数据，写入.csv文件

			
		

	





	

		

			

				
					
python+selenium实现的谷歌爬虫(超详细)

				
			

			

				

					世俗的眼光
				

				

					12-05
					
					1万+
					
				

			

		

		

			
				
python+selenium实现的谷歌爬虫
接到一个需求，需要从谷歌图库中爬取图片。于是按照之前的爬取国内网站的图片的方法，进入谷歌图库的图片页面，打开谷歌开发者工具，选中network面板，然后翻页，以此找到返回图片地址的json数组的请求url，结果硬是找不到。在这里不得不说，国外的网站安全性比国内还是要高，国内的什么百度图库、搜狗图库、一些图片收费网站按照上面的方法轻松爬取。
既然此路不通...

			
		

	





	

		

			

				
					
Google发布专利搜索网站Google Patent

				
			

			

				

					dcoz83028的博客
				

				

					12-15
					
					766
					
				

			

		

		

			
				
在Google刚刚出道的时候，网站以简洁明快的风格迅速征服了用户，然而随着时间的推移，搜索巨头推出了多项专业搜索服务，例如图像搜索、视频搜索、文学搜索以及地图搜索等，从而将角色过渡向综合性搜索服务提供商。
　　近日，GOOGLE推出了专利搜索服务，用户通过输入关键词、专利号、发明者和文件日期就可以搜索美国的专利产品。用户还可以浏览原始专利文件的扫描图像，并可以进行放大。
　　此前，美...

			
		

	





	

		

			

				
					
python爬虫抓取google_爬取Google的心酸之路

				
			

			

				

					weixin_39853892的博客
				

				

					12-09
					
					1851
					
				

			

		

		

			
				
关注公众号：掌控安全EDU可领全套安全课程、配套攻防靶场前言早在前段时间就尝试写过爬Google的了。当时由于解决不了验证码就删了，当然这次也没解决。验证码不能绕过，只能避免，减少遇见过程爬虫我追求，快、稳。但是由于Google这恶心的验证码机制，导致我不得不放弃这个想法。转而花费大量时间来解决频频碰到验证码的问题写法只有请求，不换user-agent头的，加上多进程或多线程调用。一次就封IP了i...

			
		

	





	

		

			

				
					
python 爬取google总结

				
			

			

				

					weixin_40303822的博客
				

				

					11-11
					
					5580
					
				

			

		

		

			
				
1.问题
目前主流的搜索引擎，非google莫属，但其对于非法（流量异常、爬虫）请求的封锁也是异常严厉
本人前段时间有个脚本用到了谷歌搜索，具体见python之由公司名推算出公司官网(余弦相似度)当时直接使用的是一个python开源项目
但在使用过程中，单ip的情况下爬取速度可谓感人，稍不留神还会被封，所以对于获取谷歌搜索结果的爬虫有必要进行改进
说一说爬取谷歌搜索结果的问题：
1.正常打开谷歌搜索，然后审查元素想获取目标内容的时候，会发现是一大串js。
2.访问过快就会出现流量异常
2.如何解决
对于第一

			
		

	





	

		

			

				
					
google patent爬取专利数据

				
			

			

				

					EaSoNgo111的博客
				

				

					05-10
					
					3560
					
				

			

		

		

			
				
（2）随机user-agent池。（3）增加每次爬取的延时。通过F12找到请求头。

			
		

	





	

		

			

				
					
自动爬取百度谷歌图片

				
			

			

				

					09-20
				

			

		

		

			
				
手撸了一个下载器，可以自动下载百度谷歌图片，只要输入搜索关键词即可。内附所需配置驱动以及使用说明。

			
		

	





	

		

			

				
					
Patent Grant Full Text 专利授权全文-数据集

				
			

			

				

					03-04
				

			

		

		

			
				
此数据库是美国专利商标局（USPTO）都会颁发大约6,000项专利授权（专利）并在线发布这些专利的全文。 
Patent Grant Full Text_datasets.txt

			
		

	





	

		

			

				
					
谷歌专利爬虫.zip

				
			

			

				

					01-19
				

			

		

		

			
				
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。

爬虫的工作流程包括以下几个关键步骤：

URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。

请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。

解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。

数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。

遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。

反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。

爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。

			
		

	





	

		

			

				
					
python+selenium+unittest环境搭建1

				
			

			

				

					08-08
				

			

		

		

			
				
Python+Selenium+Unittest环境搭建详解  Python+Selenium+Unittest环境搭建是自动化测试中的一种重要组件，本文将详细介绍如何搭建Python+Selenium+Unittest环境，并解决在搭建过程中可能遇到的问题。  一、安装...

			
		

	





	

		

			

				
					
基于python+pytest+Selenium+allure,完成web自动化测试框架的搭建.zip

				
			

			

				

					01-11
				

			

		

		

			
				
基于python+pytest+Selenium+allure,完成web自动化测试框架的搭建，并可以在jenkins上持续集成，应用于课堂派web自动化测试项目中，取得良好效果 软件开发设计：应用软件开发、系统软件开发、移动应用开发、网站开发...

			
		

	





	

		

			

				
					
Python+selenium 职位信息爬取 

				
			

			

				

					05-09
				

			

		

		

			
				
本文将深入探讨如何使用Python结合Selenium来爬取集团招聘网站的职位信息，并利用正则表达式进行数据过滤。  首先，Python是一种高级编程语言，以其简洁、易读的语法和丰富的库支持而闻名。在数据处理和网络爬虫领域...

			
		

	





	

		

			

				
					
python+selenium个人开发的自动化测试框架

				
			

			

				

					01-27
				

			

		

		

			
				
在网上或者测试行业现阶段分析了一下，python这门语言学习起来简单一些但是功能强大，最后2016年下半年决定在空余时间学习研究python+selenium，最终在年底开发出来一个可使用的基于web页面的自动化测试框架。...

			
		

	





	

		

			

				
					
python+selenium+unittest自动化测试demo

				
			

			

				

					10-09
				

			

		

		

			
				
Python+Selenium+Unittest自动化测试框架是一个强大的组合，用于高效地进行Web应用的自动化测试。在本示例中，我们看到一个基于这三个组件构建的自动化测试项目，它提供了丰富的功能，如测试用例管理、批量执行、...

			
		

	





	

		

			

				
					
对于Python抓取Google搜索结果的一些了解

				
			

			

				

					howie6879's blog
				

				

					12-30
					
					1940
					
				

			

		

		

			
				
大学时期博文1.问题目前主流的搜索引擎，非google莫属，但其对于非法（流量异常、爬虫）请求的封锁也是异常严厉本人前段时间有个脚本用到了谷歌搜索，具体见python开...

			
		

	





	

		

			

				
					
Python+selenium:关闭弹出框

				
			

			

				

					06-10
				

			

		

		

			
				
要关闭弹出框，可以使用以下代码：

```python
alert = driver.switch_to.alert
alert.dismiss() # 如果要点击"确定"按钮，可以使用 alert.accept()
```

这里的 `driver` 是 `webdriver` 对象，`switch_to.alert` 会返回当前页面上的 alert 对象。`dismiss()` 方法会关闭弹出框，`accept()` 方法则会点击弹出框上的 "确定" 按钮。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值