python_从web抓取文档

最新推荐文章于 2023-09-20 15:38:22 发布
最新推荐文章于 2023-09-20 15:38:22 发布
阅读量1.1k 收藏
点赞数
分类专栏： python 文章标签： python web xhtml 文档 import html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaocaiju/article/details/6992720
版权

从Web 的一个URL中抓取文档

代码：

import urllib
doc = urllib.urlopen("http://www.python.org").read()
print doc　　　　直接打印出网页
def reporthook(*a):
    print a
#将http://www.renren.com网页保存到renre.html中，每读取一个块调用一字reporthook函数

urllib.urlretrieve("http://www.renren.com",'renren.html',reporthook)
#将http://www.renren.com网页保存到renre.html中
urllib.urlretrieve("http://www.renren.com",'renren.html') 

 

 结果： 

 

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
 
 

..........................网页内容
 

</body>
 </html>
 
 
 (0, 8192, -1)
 (1, 8192, -1)
 (2, 8192, -1)
 (3, 8192, -1)
 (4, 8192, -1)
 (5, 8192, -1)
 
 

urllib.urlopen返回一个类文件对象..

                

        

        

    




    

      

        

            

              
                
                  小驹
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
python爬取各类文档方法归类小结

				
			

			

				

					hhhparty的博客
				

				

					02-08
					
					1万+
					
				

			

		

		

			
				
HTML文档是互联网上的主要文档类型，但还存在如TXT、WORD、Excel、PDF、csv等多种类型的文档。网络爬虫不仅需要能够抓取HTML中的敏感信息，也需要有抓取其他类型文档的能力。下面简要记录一些个人遇到的抓取方法，以备查阅。


抓取TXT文档 
在python3下，常用方法是使用urllib.request.urlopen方法直接获取。之后利用正则表达式等方式进行敏感词检索。

			
		

	



                

              
                



	

		

			

				
					
Python学习笔记(10)用网络爬虫软件自动下载网页上的文件

				
			

			

				

					Python学习笔记
				

				

					08-09
					
					1万+
					
				

			

		

		

			
				
举个例子，我们打算把这个法规/标准网站上的pdf格式的法规文件下载下来：


如果人工下载这些文件的话，需要在这个网页上逐个点击那些文件图标，即可激发下载过程。
下面将详细讲解定义规则和抓取过程。
1. 定义抓取规则
定义抓取规则的方法参看基础教程中的相应章节，请注意，这种标注是一种快捷的规则定义方法，但是并没有精确地定位HTML DOM节点，比如，在英文附件那个图标上做内容标注，会自动定位到DO...

			
		

	



                


  
              

                


	

		

			

				
					
python爬取腾讯在线文档存excel+mysql

					
最新发布

				
			

			

				

					u013021184的博客
				

				

					09-20
					
					4618
					
				

			

		

		

			
				
python爬取腾讯在线文档，存excel或者mysql。
python爬虫网页分析，如何获取有效的url与参数。

			
		

	





	

		

			

				
					
python的web抓取_python实现从web抓取文档的方法

				
			

			

				

					weixin_28842367的博客
				

				

					12-23
					
					106
					
				

			

		

		

			
				
本文实例讲述了Python实现从Web的一个URL中抓取文档的方法，分享给大家供大家参考。具体方法分析如下：实例代码如下：import urllibdoc = urllib.urlopen("http://www.python.org").read()print doc#直接打印出网页def reporthook(*a):print a#将http://www.renren.com网页保存到ren...

			
		

	



		

			
		



	

		

			

				
					
利用python抓取页面并将页面文件生成txt文件导出

				
			

			

				

					weixin_37861326的博客
				

				

					07-25
					
					1万+
					
				

			

		

		

			
				
分析需求：

1）利用python抓取网页页面
2）将抓取到的网页 生成txt文件导出到电脑桌面

准备工作：

电脑构建python环境
安装python编辑环境IDE(本文所述，利用pyCharm编辑器)
新建项目文件


1）项目中新建pydemo.py 文件





2）配置python解释器





3）编辑文件代码如下



import urllib
import urllib....

			
		

	





	

		

			

				
					
python从web抓取信息

				
			

			

				

					weixin_45228758的博客
				

				

					11-18
					
					624
					
				

			

		

		

			
				
1. Web抓取常用模块
webbrower：打开浏览器获取指定页面。
requests：从网上下载文件和网页。
Beautiful Soup：解析HTML，即网页编写的格式。
Selenium：启动并控制浏览器，可以模拟鼠标在这个网页上点击。
2. 通过request模块下载Web文件


调用 requests.get()下载该文件。


用’wb’调用 open()，以写二进制的方式打开一个新文件。


利用 Respose 对象的 iter_content()方法做循环。


在每次迭代中调用 wr

			
		

	





	

		

			

				
					
用Python抓取网页HTML文档

				
			

			

				

					Alexz__的博客
				

				

					09-14
					
					752
					
				

			

		

		

			
				
基本代码

import urllib.request #导入request模块

url = 'http://192.168.60.129' #指定url

res = urllib.request.urlopen(url) #调用urlopen（）从服务器获取响应界面

html = res.read().decode('utf-8') #对返回的...

			
		

	





	

		

			

				
					
手把手教你如何用Python爬取网站文本信息

				
			

			

				

					人生苦短， 还不用Python？
				

				

					10-18
					
					3万+
					
				

			

		

		

			
				
提取网页源代码——Requests 工具包
在我们提取网络信息之前，我们必须将网页的源代码进行提取，Requests工具包现在可以说是最好用和最普及的静态网页爬虫工具，它是由大神Kenneth Reitz所搭建的。在Requests的官方介绍里，Requests所遵守的哲学理念是：
1.Beautiful is better than ugly. （美胜过丑）
2.Explicit is bett...

			
		

	





	

		

			

				
					
python爬虫系列之下载在线文档Excel(腾讯)

				
			

			

				

					坐板凳上敲代码
				

				

					05-27
					
					1万+
					
				

			

		

		

			
				
python爬虫系列之腾讯文档Excel数据一、简介二、实现步骤1.  数据准备2. 获取当前用户nowUserIndex3.创建导出任务4. 检查数据准备进度，并下载
一、简介
本文讲述使用python下载腾讯文档中的Excel数据。

思路


腾讯文档导出流程如下

Created with Raphaël 2.3.0点击导出腾讯文档准备数据数据准备完成？出现下载excel文件的urlyesno

使用抓包工具获取导出接口，检测数据是否准备完成接口、下载excel接口，使用requests进行调用，即

			
		

	





	

		

			

				
					
python爬虫抓取新华网新闻并自动生成word文档

				
			

			

				

					lalala
				

				

					01-30
					
					1万+
					
				

			

		

		

			
				
认识一个在学校广播电台的学妹, 听她说她们每天都要在网上找新闻, 国际, 国内, 和校内各五篇, 然后将其做成word文档打印, 个人感觉这种活非常浪费时间, 应该写个程序帮我们自动完成. 后来没事的时候就写了这个python程序实现这个功能.程序用python3.4编写, 使用到了urllib, 加另外两个三方库, BeautifulSoup(解析网页, 很好用的一个工具)和python-docx

			
		

	





	

		

			

				
					
一个完整的python抓取程序（静态页面）

				
			

			

				

					之度的博客
				

				

					09-14
					
					809
					
				

			

		

		

			
				
抓取特殊类名的标签，并分别打印出来

输出到txt文件上


#CrowTaobaoPrice.py
import requests
from bs4 import BeautifulSoup
import bs4
import re

def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        ...

			
		

	





	

		

			

				
					
python 爬虫 爬取PyPDF2的官方在线文档

				
			

			

				

					feishicheng的博客
				

				

					04-04
					
					1688
					
				

			

		

		

			
				
python 爬虫 爬取PyPDF2的官方在线文档从学python开始就知道爬虫了，不过也仅限于知道。这段时间学习GNU Radio，官网的教程介绍都需要FQ才能看到，太麻烦。就起了用爬虫把所有网页全部下载的想法。这里的话，由于我这边没有FQ，就随便找了python的模块PyPDF2，爬了它的在线文档。把整个过程详细记录下。

			
		

	





	

		

			

				
					
python网络爬虫文档读取-纯文本读取

				
			

			

				

					wanght89的专栏
				

				

					10-09
					
					5766
					
				

			

		

		

			
				
python网络爬虫文档读取-纯文本读取，在互联网中，文档的读取经常会出现，如何在爬虫中高效地采集纯文本文档的数据，需要注意文档的编码。

			
		

	





	

		

			

				
					
Python--文件操作及复制和抓取的简单实现

				
			

			

				

					weixin_41869526的博客
				

				

					04-25
					
					2800
					
				

			

		

		

			
				
一,冯诺依曼体系架构CPU由运算器和控制器组成:    运算器:完成各种算数运算,逻辑运算,数据传输等数据加工处理    控制器:控制程序的执行    储存器:用于记忆程序和数据,如内存    输入设备:将数据或程序输入到计算机中,如键盘,鼠标    输出设备:将数据或程序处理的结果展示给用户,例如显示器和打印机一般说IO操作,指的是文件IO,若是网络IO都会直接说网络IO二,文件IO常用操作: ...

			
		

	





	

		

			

				
					
python爬取内容_python爬取各类文档方法归类汇总

				
			

			

				

					weixin_39731782的博客
				

				

					11-24
					
					470
					
				

			

		

		

			
				
HTML文档是互联网上的主要文档类型，但还存在如TXT、WORD、Excel、PDF、csv等多种类型的文档。网络爬虫不仅需要能够抓取HTML中的敏感信息，也需要有抓取其他类型文档的能力。下面简要记录一些个人已知的基于python3的抓取方法，以备查阅。1.抓取TXT文档在python3下，常用方法是使用urllib.request.urlopen方法直接获取。之后利用正则表达式等方式进行敏感词检...

			
		

	





	

		

			

				
					
python3网页抓取与下载文件

				
			

			

				

					csdn86868686888的博客
				

				

					08-27
					
					1万+
					
				

			

		

		

			
				
 参考https://blog.csdn.net/c406495762/article/details/58716886

1、下载整个网页


#!/usr/bin/python
#get html page from selected url
from urllib import request

if __name__ == "__main__":
    response = reques...

			
		

	





	

		

			

				
					
Python爬虫（二）：爬虫获取数据保存到文件

					
热门推荐

				
			

			

				

					rmkloveme
				

				

					10-18
					
					4万+
					
				

			

		

		

			
				
接上一篇文章：Python爬虫（一）：编写简单爬虫之新手入门

前言：

上一篇文章，我爬取到了豆瓣官网的页面代码，我在想怎样让爬取到的页面显示出来呀，爬到的数据是html页面代码，不如将爬取到的代码保存到一个文件中，文件命名为html格式，那直接打开这个文件就可以在浏览器上看到爬取数据的效果了。废话不多说，进入正文。

本篇文章：继续介绍另外两种方式来实现python爬虫获取数据，并将pytho...

			
		

	





	

		

			

				
					
使用python爬取文库文档

				
			

			

				

					foolcuntry的博客
				

				

					04-12
					
					6533
					
				

			

		

		

			
				
下载doc文档
百度文库直接查看源代码并不能显示出页面上的文本内容，F12 network 也没有比较明显的接口，于是百度发现一篇文章
地址 https://www.cnblogs.com/huangguifeng/p/11829323.html
老哥牛掰，找到了文档的接口还提供了代码，记录一下，以免忘记
import requests
import re
import json
from doc...

			
		

	





	

		

			

				
					
分享一次python抓取网络小说写成txt文档的经历

				
			

			

				

					C2496649361的博客
				

				

					04-16
					
					1778
					
				

			

		

		

			
				
最近在掌阅上看到推荐了一部小说，但是是付费的。而且手机看小说确实伤眼，然后百度搜了下，发现网上有。但是网上也伤眼，关键是广告贼多。so~正好在学python，打算试一下万一就成功了呢。 
于是，百度是个好东西。我发现整个过程中只用到了一个库 
BeautifulSoup 
然后BeautifulSoup里面呢有两个方法，用来分析HTML里面的标签 
 1. find           找到第一个...

			
		

	





	

		

			

				
					
使用 Python 进行 Web 抓取：从现代 Web 收集数据

				
			

			

				

					
				

			

		

		

			
				
Web Scraping with Python - Collecting Data from the Modern Web  本书由 Ryan Mitchell 撰写...本书提供了一个全面的 Web Scraping 指南，涵盖了从基本概念到高级技术的所有方面，适合 Python 开发者和数据科学家。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值