python爬虫html、parser_python爬虫之HTMLParser讲解

HTMLParser

需要手动下载markupbase.py放到libs里 每读到一个标签处理一下

from HTMLParser import HTMLParser

# markupbase

class MyParser(HTMLParser):

def handle_decl(self, decl):

HTMLParser.handle_decl(self, decl)

print('decl %s' % decl)

def handle_starttag(self, tag, attrs):

HTMLParser.handle_starttag(self, tag, attrs)

print('')

def handle_endtag(self, tag):

HTMLParser.handle_endtag(self, tag)

print('')

def handle_data(self, data):

HTMLParser.handle_data(self, data)

print('data %s' % data)

#

def handle_startendtag(self, tag, attrs):

HTMLParser.handle_startendtag(self, tag, attrs)

def handle_comment(self, data):

HTMLParser.handle_comment(self, data)

print('data %s' % data)

def close(self):

HTMLParser.close(self)

print('Close')

demo = MyParser()

demo.feed(open('test.html').read())

demo.close()

6b647601360af68f9d4a9a1fc7fd01b6.png

希望与广大网友互动??

点此进行留言吧!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,这是一个关于Python爬虫获取新浪新闻信息的问题。首先,我们需要先了解一下爬虫的基本概念和工作原理。 爬虫是一种自动化程序,可以模拟人类对网站的访问并自动抓取数据。它可以通过网络上的URL链接来获取网页内容,并将其转换成结构化的数据,供后续的数据分析或其他用途。 下面是一个简单的Python爬虫程序,可以用来获取新浪新闻的信息: ```python import requests from bs4 import BeautifulSoup url = 'https://news.sina.com.cn/' r = requests.get(url) r.encoding = 'utf-8' soup = BeautifulSoup(r.text, 'html.parser') news_list = soup.find_all('a', class_='news-item') for news in news_list: print(news.text.strip()) print(news['href']) ``` 这个程序使用了Python的requests库和BeautifulSoup库来获取新浪新闻的信息。首先,我们需要将新浪新闻的URL链接赋值给变量url,然后使用requests库来发送HTTP请求,获取网页内容。接着,我们需要使用BeautifulSoup库来解析网页内容,提取出我们需要的信息。在这个例子中,我们使用了find_all方法来查找所有class为news-item的a标签,并使用循环打印出每个新闻的标题和链接。 当然,这只是一个简单的例子,实际上,爬虫的应用非常广泛,可以用来获取各种类型的数据,例如文本、图像、音频等等。但是,请注意,爬虫的使用需要遵守法律法规和道德规范,不要进行恶意攻击或侵犯他人隐私。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值