Python抓网页内容

转载 2012年03月24日 18:34:23
用Python语言写搜索引擎蜘蛛的脚本非常简单、轻松。给大家分享两种抓网页内容的方法

一、用urllib2/sgmllib包,将目标网页的所有URL列出。

import urllib2

from sgmllib import SGMLParser

class URLLister(SGMLParser):
    def reset(self):                             
        SGMLParser.reset(self)
        self.urls = []

    def start_a(self, attrs):                     
        href = [v for k, v in attrs if k=='href'] 
        if href:
            self.urls.extend(href)

f = urllib2.urlopen("http://www.donews.com/")

if f.code == 200:
    parser = URLLister()
    parser.feed(f.read())
    f.close()
    for url in parser.urls: print url



二、用python调用IE抓取目标网页(Require win32com, pythoncom)的所有图像的url和大小

import win32com.client, pythoncom
import time
ie = win32com.client.DispatchEx('InternetExplorer.Application.1')
ie.Visible = 1
ie.Navigate("http://news.sina.com.cn")
while ie.Busy:
     time.sleep(0.05)
doc = ie.Document
for i in doc.images:
     print i.src, i.width, i.height

这种方法可以利用IE本身的Javascript. DHTML的支持,来做自动提交Form,和处理Javascript。
有关样例可以参考http://win32com.de

python2.x 获取网页内容

利用python获取网页内容可以说是非常的方便的,本人是小白,在学习过程中,记录一点点心得。获取内容以知乎为例,只供学习使用哦。1、导入库文件import sys #系统库 import urlli...
  • zww1984774346
  • zww1984774346
  • 2017年02月24日 10:37
  • 1221

利用Python抓取和解析网页(转载)

这是我写爬虫的时候搜到的一篇比较不错的文章 讲的还是比较详细 虽然代码有部分缩进错误 稍微修改下就可以有很好的效果了 于是我就脸皮厚的贴了过来 收藏吧算是 对搜索引擎、文件索引、文档...
  • lively1982
  • lively1982
  • 2016年01月27日 10:12
  • 1722

Python:网页的抓取、过滤和保存

Python:网页的抓取、过滤和保存 环境:Python 2.7.3,win10 不知道为什么,突然想爬一下,目标是ZOL笑话大全...
  • u013632854
  • u013632854
  • 2017年04月07日 22:54
  • 1243

Python 语言实现的抓取网页内容与列文件目录

  • 2013年01月19日 21:19
  • 5KB
  • 下载

用Python的Lxml库抓取网页内容

为什么是Lxml 一般来说,Python抓取网页内容有三种方式:正则、BS(Beautiful Soup)、Lxml。列个表格对比下这三种方式吧。 抓取方法 速度 使用难...
  • my_precious
  • my_precious
  • 2016年10月27日 19:24
  • 2235

Python3网络爬虫:requests爬取动态网页内容

本文为学习笔记 学习博主:http://blog.csdn.net/c406495762 Python版本:python3.+ 运行环境:OSX IDE:pycharm一、工具准备抓包工具:在O...
  • qq_24076135
  • qq_24076135
  • 2017年09月24日 16:32
  • 849

[Python]网络爬虫(二):利用urllib2通过指定的URL抓取网页内容

所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。  类似于使用程序模拟IE浏览器的功能,把URL作为HTTP请求的内容发送到服务器端, 然后读取服务器端的响应资源。 在...
  • wxg694175346
  • wxg694175346
  • 2013年05月13日 23:45
  • 268782

python抓取网页内容并进行语音播报

python2.7,下面是跑在window上的,稍作修改就可以跑在linux上。 实测win7和raspbian均可,且raspbian可以直接调用omxplayer命令进行播放。 利用百度的语音...
  • jupeizhong
  • jupeizhong
  • 2016年04月24日 08:44
  • 1859

Python_BeautifulSoup 抓取网页内容入门

BeautifulSoup是Python html页面分析和xml页面分析的一个很好的工具! 最新版可以在这里下载到:http://www.crummy.com/software/Beautif...
  • lizzywu
  • lizzywu
  • 2017年06月08日 11:11
  • 291

[Python]网络爬虫(二):利用urllib2通过指定的URL抓取网页内容

http://blog.csdn.net/pleasecallmewhy/article/details/8923067 版本号:Python2.7.5,Python3改动较大,各位另寻教程。 ...
  • hshl1214
  • hshl1214
  • 2015年05月19日 21:23
  • 2306
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Python抓网页内容
举报原因:
原因补充:

(最多只允许输入30个字)