Python 实现网络爬虫 抓取静态网页【代码】

这篇博客介绍了如何使用Python进行网络爬虫,重点展示了如何抓取页面上的1类和2类标签。通过示例代码`soup.findAll('a')`演示了抓取一类标签,同时提供了抓取具有特定属性如`target="_blank"`和`class="h1user"`的2类标签的方法。
摘要由CSDN通过智能技术生成
#---------------------------------import---------------------------------------
#coding:utf-8
import urllib2;
from BeautifulSoup import BeautifulSoup;

#------------------------------------------------------------------------------
def main():
    #抓 
    userMainUrl = "http://tieba.baidu.com/home/main?id=38b94c4ed8add8bcccabd7d31b22&fr=userbar"; #修改抓取的链接地址
    req = urllib2.Request(userMainUrl);
    resp = urllib2.urlopen(req);
    respHtml = resp.read();
    print "respHtml=",respHtml; #此处输出所有抓取到的HTML源码
    
    #取    
    songtasteHtmlEncoding = "GBK";#修改编码<span><span class="attribute-name">charset的格式</span></span>
    soup = BeautifulSoup(respHtml, fromEncoding=songtasteHtmlEncoding);
    foundClassH1user = soup.find(attrs={"target":"_blank"});#修改抓取内容
    print "foundClassH1user=%s",foundClassH1user;
    if(fo
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值