Python中网络页面抓取和页面分析

最新推荐文章于 2024-04-01 15:01:30 发布
最新推荐文章于 2024-04-01 15:01:30 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： python 文章标签： 抓取

1.前言

        Python的网络抓取有很多包可以实现，比如：urllib、urllib2、httplib、httplib2。其中httplib、httplib2是专门处理与http相关的；而urllib、urllib2是借助于httplib、httplib2实现的，相当于在httplib、httplib2上又封装了一层来进行处理web数据。而urllib2是urllib的高版本，httplib2是httplib的高版本。

        这里我给出一个学习python库的网址，里面有各种lib库的讲解：http://docs.python.org/library/index.html  。有兴趣的读者可以看一下。

        由于最近在使用httplib2进行网上抓取数据，所以下面对httplib2进行介绍。

2.httplib2

(1)安装       

         httplib2的安装：首先下载python的httplib2的安装包，下载地址为：http://code.google.com/p/httplib2/downloads/list；其次， 在dos窗口下进入httplib2的解压目录，执行命令：python setup.py install  。 即完成安装。

(2)使用讲解

        下面再给出一个httplib2的学习地址，是httplib2的一个wiki，里面有几个httplib2的简单例子：http://code.google.com/p/httplib2/wiki/Examples 。

(a)下面给出第一个httplib2的例子，根据weibo用户的ID，抓取用户相关信息：

         这个例子涉及到cookies的使用，下面简单介绍一下cookies的问题：

         当用户抓取的网页需要登陆时，一般的登录页面只需要用户名和密码，此时我们可以采用username和password的python代码抓取网页。但是当用户频繁的登录抓取时，此时登录页面就需要输入用户名、密码和一个随机数字图片验证，图片验证无法屏蔽掉。此时，我们这里可以采用先获取用户登陆后的cookies，再以http的get请求的方式向用户发送headers（该headers包含用户登陆后的cookies信息），这样就避免了登陆。

        获取cookies的方法我感觉有2种，一种是手工方式：通过fiddler软件来查看，当用户在浏览器里输入请求的网址时，通过fiddler就可以查看用户的http的响应，具体的过程如下面2张图片所示，第一张图片是fiddler查看cookies的header，第二张图是拷贝该header：

        


        第二种获取cookies的方式，可以第一次通过用户名和密码向url发出请求，然后将请求后的response中的headers的cookies保存下来，下次就可以根据cookies去登录该url并获取页面内容。

        好，cookies介绍完毕，咱们回来，下面给出第一个demo（通过cookie登陆获取微博页面，并抓取微博用户信息）：

[python]  view plain copy
  1. #!/usr/bin/python  
  2. # -*-coding:utf-8 -*-  
  3. import httplib2  
  4. import urllib2  
  5. import re #正则表达式模块  
  6.   
  7. class WeiboClass: #定义一个weibo类  
  8.   
  9.     #获取指定url的网页内容  
  10.     def get_content(self,url,headers,id):  
  11.         http=httplib2.Http()  
  12.         response,content=http.request(url+str(id),'GET',headers=headers)  
  13.         #print url+str(id)  
  14.         return content.decode('unicode-escape').encode('utf-8')  
  15.   
  16.     #判断weibo的用户是否是企业用户  
  17.     def is_company(self,url,headers,id):  
  18.         content=self.get_content(url,headers,id)  
  19.         title=r'行业'  
  20.         company_title=re.compile(title)   
  21.         if company_title.search(content): #使用正则表达式对title进行匹配          
  22.             return 1  
  23.         else:  
  24.             return 0  
  25.           
  26.     #获取用户的weibo信息：ID，主页url，昵称  
  27.     def get_info(self, url,headers,id):  
  28.         flag=self.is_company(url,headers,id)  
  29.         content=self.get_content(url,headers,id)  
  30.         if flag==0:  #如果用户是个人用户              
  31.             #print content  
  32.             #微博ID  
  33.             id_flag=r'\$CONFIG
    \'oid\'
     = \'([0-9].+?)\';'  
  34.             id_re=re.compile(id_flag)  
  35.             id_regx=id_re.search(content)  
  36.             id=id_regx.group(1)  
  37.             print id  
  38.   
  39.             #微博url  
  40.             url_flag=r'<meta http-equiv="mobile-agent" content="format=xhtml;" url="weibo.cn/(.+?)\?'  
  41.             url_re=re.compile(url_flag)  
  42.             url_regx=url_re.search(content)  
  43.             url_0=url_regx.group(1)  
  44.             url='http://weibo.com/'+url_0  
  45.             print url  
  46.               
  47.             #昵称  
  48.             name_flag='<div class="name clearfix">.+?<div class="left">(.+?)<'  
  49.             name_re=re.compile(name_flag,re.S)  
  50.             name_regx=name_re.search(content)  
  51.             name=name_regx.group(1)  
  52.             name=name.decode('utf-8').encode('GBK')  
  53.             print name  
  54.   
  55. def main():              
  56.     headers={"cookie":'NSC_wjq_xfjcp.dpn_w3.6_w4=ffffffff0941137b45525d5f4f58455e445a4a423660; SUS=SID-1806453925-1342851885-XD-hgrjc-03210d75ca203f3ad0d57666a05ae49d; SUE=es%3Deabd0a14bc6e6123c5c4d058d9a2c96f%26ev%3Dv1%26es2%3Db50ae59b82b457a1ba54b2b7708fbb5b%26rs0%3DdP4RVYzORRwV64PFw6wRdNGBk0HP47V8C5SXUp%252F7Q9K2RcduYt4ECQbEDNZk%252Bs8GHDpW5wk%252B3%252FmYKP12zIyQbD1bUMd2wNBgdRX45p2rygizXgHMjH%252FFnU53HJFC2OfSvEHZADJkZD%252BTdLHidgoyy4maajVHi%252B%252B1en0zIKIf3mo%253D%26rv%3D0; SUP=cv%3D1%26bt%3D1342851885%26et%3D1342938285%26d%3Dc909%26i%3D4dc3%26us%3D1%26vf%3D0%26vt%3D0%26ac%3D0%26uid%3D1806453925%26user%3Dqipeng.sdsy%2540163.com%26ag%3D4%26name%3Dqipeng.sdsy%2540163.com%26nick%3D%25E4%25B8%2580%25E5%258C%25B9%25E5%259C%25A8%25E8%25B7%25AF%25E4%25B8%258A%25E7%259A%2584%25E9%25A9%25AC%26fmp%3D%26lcp%3D; SSOLoginState=1342851885; ads_ck=1; UOR=hao.360.cn,weibo.com,spr_web_360_hao360_weibo_t001:1342851234578; _olympicMedalsTable=; ULV=1342851891453:53:53:53:3919105774821.296.1342851890484:1342851070843; SinaRot/u/1806453925=25; un=qipeng.sdsy@163.com; __utma=182865017.1486634646.1342787238.1342787238.1342787238.1; __utmz=182865017.1342787238.1.1.utmcsr=weibo.com|utmccn=(referral)|utmcmd=referral|utmcct=/u/1806453925; myuid=1806453925; wvr=4; ALF=1343135290; SinaRot/u/1806453925%3Fgid%3D201108260278357557=77; SinaRot/u/1806453925%3Fc%3Dspr_web_360_hao360_weibo_t001=59; _s_tentry=-; Apache=3919105774821.296.1342851890484; SINAGLOBAL=3919105774821.296.1342851890484; BAYEUX_BROWSER=4e70u68yfp1x9xreh4wbcw2jfhs; JSESSI\  
  57. ONID=3nvoas5ykh0e'}      
  58.     url='http://weibo.com/'  
  59.     print headers  
  60.     page = WeiboClass()  
  61.     page.get_info(url,headers,1842764911)  
  62.   
  63.   
  64. if __name__ == "__main__":  
  65.     main()  

(b)下面给出httplib2的第二个例子

[python]  view plain copy
  1. #!/usr/bin/python  
  2. # -*-coding:utf-8 -*-  
  3. import sys;  
  4. import os;  
  5. import urllib2;  
  6. import httplib2;  
  7. import Cookie;  
  8. import random;  
  9. import re;  
  10. import time;  
  11. from urllib import urlencode;  
  12. import hashlib;  
  13. import datetime;  
  14. import socket;  
  15.   
  16. #httplib2.debuglevel=1;  
  17.   
  18. def error_log(log):  
  19.     sys.stderr.write("%s\n" % (log));  
  20.   
  21. class ErrorCode:  
  22.     Succ         = 0;  
  23.     Unknown      = -1; # 未知原因  
  24.   
  25. class SimBrowser :  
  26.     socket.setdefaulttimeout(10); # 超时限制 10秒  
  27.     UserAgent="";  
  28.     cookie=None;  
  29.     httplink = httplib2.Http();      
  30.     httplink.follow_redirects = False;  
  31.     hostname="";      
  32.     def __init__(self, cookie, UserAgent="Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727)"):  
  33.         self.cookie = cookie;  
  34.         self.UserAgent = UserAgent;          
  35.           
  36.     def gen_cookie_str(self):  
  37.         cookiestr = '; '.join(self.cookie.output(attrs=[], header="").split('\r\n'));  
  38.         if len(cookiestr) <= 0:  
  39.             return "";  
  40.         else:  
  41.             return cookiestr;  
  42.     def prepare_request_header(self, header):  
  43.         newheader = {};  
  44.         cookiestr = self.gen_cookie_str();  
  45.         if len(cookiestr) > 0:  
  46.             newheader['Cookie'] = cookiestr;          
  47.         # set agent  
  48.         newheader['User-Agent'] = self.UserAgent;  
  49.           
  50.         # replace or append user specified values in header  
  51.         for key in header.keys():  
  52.             newheader[key] = header[key];  
  53.         return newheader;  
  54.   
  55.     # maintain cookies  
  56.     def maintain_cookie(self, response_header):  
  57.         if 'set-cookie' in response_header:  
  58.             self.cookie.load(response_header['set-cookie']);              
  59.   
  60.     def get_redirect_url(self, prevurl, res):  
  61.         if 'location' not in res:  
  62.             error_log('no location in res');  
  63.             return "";  
  64.   
  65.         location = res['location'];  
  66.         if len(location) <= 0:  
  67.             error_log('location length is zero');  
  68.             return "";  
  69.   
  70.         # check location contain fullpath of target  
  71.         if location.find("http://") != 0:  
  72.             p = re.compile(r"[(http://)]*[.\-_0-9A-Za-z]+");  
  73.             m = p.match(prevurl);  
  74.             if m != None:                  
  75.                 host = m.group();  
  76.                 return host + location;  
  77.             else:  
  78.                 error_log('cannot get host link');  
  79.                 host = "";  
  80.         else:  
  81.             return location;  
  82.   
  83.     def request(self, url, method="GET", headers={}, body="", follow_redirects=False):   
  84.         newheaders = self.prepare_request_header(headers);  
  85.         newurl = url;  
  86.         newbody = body;  
  87.         while (True):  
  88.             try:  
  89.               res, content = self.httplink.request(newurl, method=method, headers=newheaders, body=newbody);  
  90.               self.maintain_cookie(res);  
  91.             except Exception , what:  
  92.                 try:  
  93.                   res, content = self.httplink.request(newurl, method=method, headers=newheaders, body=newbody);  
  94.                   self.maintain_cookie(res);  
  95.                 except Exception , what:   
  96.                     try:  
  97.                       res, content = self.httplink.request(newurl, method=method, headers=newheaders, body=newbody);  
  98.                       self.maintain_cookie(res);  
  99.                     except Exception , what: # 访问获取 三次 不成功返回失败  
  100.                         res='';  
  101.                         content='';  
  102.                         break;  
  103.   
  104.             # check redirects  
  105.             if follow_redirects==False:  
  106.                 break;  
  107.             elif res.status in(300, 301, 302):                  
  108.                 prevurl = newurl;  
  109.                 newheaders = self.prepare_request_header({});  
  110.                 newurl = self.get_redirect_url(prevurl, res);  
  111.                 body = "";  
  112.                 method="GET";  
  113.                 if len(url) > 0:  
  114.                     continue;  
  115.                 else:  
  116.                     sys.stderr.write("Error:failed to get redirect location\n");  
  117.                     break;  
  118.             else:  
  119.                 break;  
  120.         return res, content;  
  121. def main():  
  122.     cookie = Cookie.SimpleCookie();  
  123.     sim = SimBrowser(cookie);  
  124.       
  125.     aurl='http://s.weibo.com/weibo/computer&Refer=STopic_box';  
  126.     myCookie = ('UOR=,weibo.com,; myuid=1369574593; un=zhaolianxiang@126.com; \  
  127. un=zhaolianxiang@126.com; wvr=4; __utma=15428400.565128140.1342666019.13426660\  
  128. 19.1342666019.1; __utmz=15428400.1342666019.1.1.utmcsr=blog.sina.com.cn|utmccn\  
  129. =(referral)|utmcmd=referral|utmcct=/s/blog_84313fa001010n90.html; NSC_wjq_xfjc\  
  130. p.dpn_w3.6_w4=ffffffff0941010945525d5f4f58455e445a4a423660; SSOLoginState=1342\  
  131. 867370; _s_tentry=login.sina.com.cn; Apache=9964875415898.86.1342867464581; UL\  
  132. V=1342867464624:7:7:4:9964875415898.86.1342867464581:1342514299919; SUE=es%3D6\  
  133. c406ebb66f15ce0e5b852efa908d728%26ev%3Dv1%26es2%3D658950facb6ad8c9c8627639f31a\  
  134. 61de%26rs0%3Df6AWRRwcy3r7HJ7y1mdnQR5icnbFHj6Qt%252F6Og2%252FaDBwMtLGJbQhanphxu\  
  135. EWsXCI1CPdl1yhB%252BHNobWvCmQPmF0xjrJhrvxCWAoiiE7D9cPDXQVOvlQPDsAopv10Un5DDuES\  
  136. %252FZcPXtwnaCYnD5hcMAoDinTKgBxbeZ%252FBSiLzvEdQ%253D%26rv%3D0; SUP=cv%3D1%26b\  
  137. t%3D1343009147%26et%3D1343095547%26d%3Dc909%26i%3D3d45%26us%3D1%26vf%3D0%26vt%\  
  138. 3D0%26ac%3D1%26uid%3D1842764911%26user%3Dzhaolianxiang%2540126.com%26ag%3D4%26\  
  139. name%3Dzhaolianxiang%2540126.com%26nick%3DSean%26fmp%3D%26lcp%3D2011-12-25%252\  
  140. 012%253A59%253A36; SUS=SID-1842764911-1343009147-XD-cyk5d-215c6a72f1b3a340c301\  
  141. 533e2b4ce49d; ALF=1343095212; ads_ck=1; SinaRot/z/zhaolianxiang=44; SINAGLOBAL\  
  142. =9964875415898.86.1342867464581; _olympicMedalsTable=; USRHAWB=usrmdins213_206');  
  143.     headers={'Cookie':myCookie,'Content-Type':'application/x-www-form-urlencoded'};  
  144. #    print "myCookie:",myCookie;  
  145. #    body={'path':'GET/material','userid':self.BaiduId,'token':self.token,'params':'{"level":"useracct","fields":["wregion","wbudget","userstat"]}'};  
  146.     #以http的方式向aurl发出get请求，同时将http的头headers发送过去  
  147.     #这个headers包含了用户的登陆的cookies信息。cookies的获取可以通过fiddler软件来查看。  
  148.     res, content = sim.request(aurl,'GET', headers=headers);  
  149.     print "res:",res  #输出http的响应response  
  150.     #将获取的网页内容先解码，再以utf-8的形式编码  
  151.     print "content:",content.decode('unicode-escape').encode('utf-8');  
  152.       
  153.   
  154. if __name__ == "__main__":  
  155.     main();          
  156.           

注：上面的两个程序中的cookies均已失效，需要您通过我上面介绍的方法替换cookies中的内容。

(3)总结

使用cookie登陆抓取指定页面，可以像下面这样，这是一个最简洁的代码

[python]  view plain copy
  1. #!/usr/bin/python  
  2. # coding:utf-8   
  3. import httplib2  
  4. import urllib2  
  5. import re #正则表达式模块  
  6.   
  7. class PageClass:  
  8.   
  9.     #获取指定url的网页内容  
  10.     def get_page(self,url,headers):  
  11.         http=httplib2.Http()  
  12.         response,content=http.request(url,'GET',headers=headers)  
  13.         #return content.decode('unicode-escape').encode('utf-8')  
  14.         return content.decode('unicode-escape').encode('utf-8')  
  15.           
  16. def main():              
  17.     headers={"cookie":'your cookie'}  
  18.     url = 'http://fengchao.baidu.com'  
  19.     #print headers  
  20.     page = PageClass()  
  21.     content = page.get_page(url,headers)  
  22.     print content  
  23.   
  24. if __name__ == "__main__":  
  25.     main()  
只需要输入url和headers就可以抓取到指定的页面。这里需要输入你自己的cookie。上面的代码执行后的结果如下，可以看到我们抓取到了内容：


3.XPath

        将抓取到的页面源码，如何进行解析，一般采用下面三种技术：
        (1)lxml的xpath:基于XML的语义进行解析的(推荐)。
        (2)正则表达式(RE):基于纯文本的处理。
        (3)纯字符串处理(不推荐)

        总结：RE对付简单的页面没有问题，如果页面结构复杂度较高的时候，建议采用xpath，因为此时设计一个合适的RE pattern可能会远比写一个xpath要复杂。

        lxml的下载地址：http://pypi.python.org/pypi/lxml/2.3

       上面介绍的httplib2的2个示例均是通过RE(正则表达式)来进行页面解析的。下面我们介绍XPath来进行页面解析想要的内容。

        XPATH基本上是用一种类似目录树的方法来描述在XML文档中的路径。比如用“/”来作为上下层级间的分隔。第一个“/”表示文档的根节点（注意，不是指文档最外层的tag节点，而是指文档本身）。比如对于一个HTML文件来说，最外层的节点应该是”/html”。同样的，“..”和“.”分别被用来表示父节点和本节点。
        XPATH返回的不一定就是唯一的节点，而是符合条件的所有节点。比如在HTML文档里使用“/html/head/scrpt”就会把head里的所有script节点都取出来。
        为了缩小定位范围，往往还需要增加过滤条件。过滤的方法就是用“[”“]”把过滤条件加上。比如在HTML文档里使用“/html/body/div[@id='main']”，即可取出body里id为main的div节点。其中@id表示属性id，类似的还可以使用如@name, @value, @href, @src, @class….  。

         而函数text()的意思则是取得节点包含的文本。比如：<div>hello<p>world</p>< /div>中，用”div[text()='hello']“即可取得这个div，而world则是p的text()。

          函数position()的意思是取得节点的位置。比如“li[position()=2]”表示取得第二个li节点，它也可以被省略为“li[2]”。

          不过要注意的是数字定位和过滤条件的顺序。比如“ul/li[5][@name='hello']”表示取ul下第五项li，并且其name必须是hello，否则返回空。而如果用“ul/li[@name='hello'][5]”的意思就不同，它表示寻找ul下第五个name为”hello“的li节点。
          此外，“*”可以代替所有的节点名，比如用”/html/body/*/span”可以取出body下第二级的所有span，而不管它上一级是div还是p或是其它什么东东。
而 “descendant::”前缀可以指代任意多层的中间节点，它也可以被省略成一个“/”。比如在整个HTML文档中查找id为“leftmenu”的 div，可以用“/descendant::div[@id='leftmenu']”，也可以简单地使用“ //div[@id='leftmenu']”。
        至于“following-sibling::”前缀就如其名所说，表示同一层的下一个节点。”following-sibling::*”就是任意下一个节点，而“following-sibling::ul”就是下一个ul节点。

        下面给出一个示例，其功能为提取百度首页搜索框上面的导航条的内容：

[python]  view plain copy
  1. #该程序是对百度的首页进行分析，并提取出其搜索框上面的导航条  
  2. import httplib2  
  3. import urllib2  
  4. import re  
  5. from lxml import etree  
  6.   
  7. def main():  
  8.     http = httplib2.Http()  
  9.     response,content = http.request("http://www.baidu.com",'GET')  
  10.     print "response:",response  
  11.     print "content:",content  
  12.   
  13.     tree = etree.HTML(content)  
  14.   
  15.     #上面的注释为要查找的部分html  
  16.     #<p id=nv><a href=http://news.baidu.com>新闻</a><b>网页</b>  
  17.     #<a href=http://tieba.baidu.com>贴吧</a><a href=http://zhidao.baidu.com>知道</a>  
  18.     #<a href=http://mp3.baidu.com>MP3</a><a href=http://image.baidu.com>图片</a>  
  19.     #<a href=http://video.baidu.com>视频</a><a href=http://map.baidu.com>地图</a></p>  
  20.   
  21.     #下面开始查找id为nv的p标签下的所有<a>的href值  
  22.     hyperlinks = tree.xpath(u'//p[@id="nv"]/a/@href')  
  23.     print "hyperlinks:",hyperlinks  
  24.     for hyperlink in hyperlinks:  
  25.         print "hyperlink:",hyperlink  
  26.           
  27.     #查找id为nv的p标签下的所有<a>节点  
  28.     a_nodes = tree.xpath(u'//p[@id="nv"]/a')  
  29.     print "a_nodes_length:",len(a_nodes)  
  30.     for a_node in a_nodes:  
  31.         print "<a>:",a_node.text,a_node.attrib['href']  
  32.     print "\n"  
  33.   
  34.     #通过正则表达式查找<p id="nv">的标签内容，匹配的内容为正则表达式中的"()"内的内容     
  35.     name_flag='<p id="nv">(.+?)</p>'  
  36.     name_re=re.compile(name_flag,re.S)  
  37.     name_regx=name_re.search(content)  
  38.     print name_regx  
  39.     name=name_regx.group(1)  
  40.     print "name:",name  
  41.           
  42. if __name__ == "__main__":  
  43.     main()  
其执行结果为：


下面对其进行分析：

        首先，对www.baidu.com进行http的get请求，然后将相应的页面结果进行分析。这里我使用了3种方式进行页面分析，前2种方式为使用xpath提取，第3种方式为通过正则表达式匹配提取。程序中有详细的注释。

4.HTMLParser

        该模块是用来解析HTML元素的。可以从HTML中筛选出指定的标签。下面给出一个例子，读取百度首页www.baidu.com中的所有链接，并打印出来。

[python]  view plain copy
  1. import HTMLParser  
  2. import urllib  
  3. import sys  
  4.   
  5. #定义HTML解析器  
  6. class parseLinks(HTMLParser.HTMLParser):  
  7.     #该方法用来处理开始标签的，eg:<div id="main">  
  8.     def handle_starttag(self, tag, attrs):  
  9.         if tag == 'a':  #如果为<a>标签  
  10.             #name为标签的属性名，如href、name、id、onClick等等  
  11.             for name,value in attrs:      
  12.                 if name == 'href': #这时选择href属性  
  13.                     print "name_value: ",value  #href属性的值  
  14.                     print "first tag:",self.get_starttag_text() #<a>标签的开始tag  
  15.                     print "\n"  
  16.   
  17. if __name__ == "__main__":  
  18.     #创建HTML解析器的实例  
  19.     lParser = parseLinks()  
  20.     #打开HTML文件  
  21.     lParser.feed(urllib.urlopen("http://www.baidu.com").read())  
  22.     lParser.close()  
        但调用feed函数时，会自动调用handle_starttag函数，这里的handle_starttag函数是对原函数的重写。handle_starttag(self,tag,attrs)中的参数tag是标签的名字；参数attrs是一个(name,value)键值对，是通过查找到tag的<>括号来确定的，其中name是tag的<>中的属性名，value是去除引号后的值。

       上面程序的执行结果如下：（下面的结果只是部分的屏幕截图）


5.正则表达式(RE)

      由于上面涉及到很到正则表达式的匹配问题。下面对Python中的RE使用进行简单的演示和说明。下面给出一段，我测试用的code：

[python]  view plain copy
  1. import re    
  2.     
  3. text = "JGood is a handsome booy, he is cool, clever, and so on..."    
  4. regex1 = re.match(r"\w*oo\w*", text)    
  5. if regex1:    
  6.     print "regex1:" , regex1  
  7.     print "result1:" ,regex1.group(0)    
  8. else:    
  9.     print 'not match'  
  10. print "\n"  
  11.   
  12. regex2 = re.compile(r'(\w*oo\w*)')  
  13. print "result2:" , regex2.findall(text)  
  14. print "\n"  
  15.   
  16. regex3 = re.compile(r'(\w*oo\w*).+?(\w*eve\w*).*')  
  17. regex3_result = regex3.search(text)  
  18. if regex3_result:   
  19.     print "regex3:", regex3  
  20.     print " result3:",regex3_result.group(1)," ",regex3_result.group(2)  
  21. else:  
  22.     print 'not match'  
程序的运行结果：

下面简单的讲解一下：

        regex1是通过match方法进行匹配，match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；regex2是通过findall，查找所有满足的匹配；regex3是通过search匹配整个字符串，直到找到一个匹配。

        对于regex3_result.group(1),regex3_result.group(2)是什么意思呢，我搞了半天才弄明白。group(i)表示匹配的正则表达式"()"中的内容。如regex3_result.group(1)表示匹配的正则表达式中第一个()内的内容，regex3_result.group(2)表示匹配的正则表达式中第二个“()”的对应的字符串。group(0)表示整个表达式。group是从左向右计数的，从1开始。组可以被嵌套。计数的数值可以通过从左到右计算打开的括号数来确定。

再给出一个小例子，一目了然：

[python]  view plain copy
  1. #!python  
  2. >>> p = re.compile('(a(b)c)d')  
  3. >>> m = p.match('abcd')  
  4. >>> m.group(0)  
  5. 'abcd'  
  6. >>> m.group(1)  
  7. 'abc'  
  8. >>> m.group(2)  
  9. 'b'  

6.如何判断网络连接

有的软件如果需要访问网络，这时我们就需要定时地检测网络的连接，下面的代码给出了如何检测网络连接：当连接时返回1；当网络断掉时返回0。原理就是通过http去请求网页，如果能够请求到则网络正常，如果请求出现异常则网络断掉。

[python]  view plain copy
  1. def check_network():  
  2.     import httplib2  
  3.     try:  
  4.         http = httplib2.Http()  
  5.         resp, content = http.request("http://www.baidu.com")  
  6.     except:  
  7.         return 0  
  8.     return 1 
chinajobs
关注
专栏目录
python：实现检查互联网连接check Internet Connectivity(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
03-16 194
python：实现检查互联网连接check Internet Connectivity(附完整源码)
开车助手
holore的博客
01-09 436
含有百度网盘链接提取加浏览器打开 只上过大学的VB课，由于我有松鼠症，看到色图都想保留下来，所以萌生了学习爬虫的想法，学了半个月的python，基本只会百度，尤其是在解决错误后又重新犯同样的错误，我觉得应该记录下来 错误一： 由于含有百度链接的一般都是多行，而input无法输入多行，text可以 百度来的 text.get 一开是没有索引参数的，所以只输入了第一个字符串，多行输入应该是text.g...
Python爬取页面数据（纯小白干货分析）
weixin_45102071的博客
03-11 542
Python爬取静态页面数据分析 1、确定目标页面 2、分析页面布局 3、获取数据 4、存入本地表格 用到的Python的包：requests、lxml、xlwt requests：获取目标链接 lxml： 解析数据 xlwt：写入表格 代码分析： 1、引包 import requests from lxml import etree import xlwt 2、requests 抓取数据 requests.get("http://www.hebnews.cn/") 3、分析结构获取目标数据 title
使用Python采集某生活平台网站，进行数据可视化分析
轻松学python的博客
05-30 593
哈喽大家好，今天我们来获取一下某个生活平台网站数据，进行可视化分析
网络编程
qq_39095899的博客
03-09 1532
网络编程 OSI模型：Open System Interconnection, 开放式网络互联, 由国际化标准组织(ISO)制定的, 是设计和描述计算机网络通信的基本模型 OSI的七层模型: 1.应用层 2.表示层 3.会话层 4.传输层 5.网络层 6.数据链路层 7.物理层 TCP/IP的四层模型 1.应用层: HTTP, FTP, SMTP, DNS 2.传输层: TCP, UDP 3.网络...
通过python程序获取oracle的AWR的数据库指标进行分析
weixin_33807284的博客
10-03 588
初步完成下前几天给自己布置了一个作业， 参见： juejin.im/post/5bb16d… 对oracle一些关键指标进行分析，后续通过python编程开发后加入维护系统，以供分析使用。 这两天先弄了个版本，学习我社会哥，话不多说，搞之。 程序功能：通过python程序对oracle awr文件进行读取，当然这个是v1.0版本，这个版本后面还可以继续优化，可作为巡检或分析或定期监控：。 执行情况...
python抓取需要扫微信登陆页面
09-19
Python抓取微信登陆页面涉及到的是网络爬虫技术，主要用于从特定网页中提取所需信息。在本案例中，目标页面是一个需要通过微信扫码进行登录的公司网页。以下是详细的知识点解析： 1. **登录机制**： 微信扫码登录...
python抓取并保存html页面时乱码问题的解决方法
09-21
2. **网页实际编码与声明编码不符**：HTML页面中通过`<meta>`标签声明的编码可能与网页实际使用的编码不同。例如，HTML可能声明为`charset=utf-8`，但实际上可能是GBK或其他编码。 针对上述问题，我们可以采取以下...
PyWebCopy用Python编写的页面抓取和归档工具
08-10
PyWebCopy就是这样一款工具，它利用Python的强大功能，能有效地抓取网页内容，包括HTML、CSS、JavaScript以及相关的图像资源，让你能够在没有网络连接的情况下访问这些页面。 ### PyWebCopy概述 PyWebCopy是一款...
【python】批量检测网站域名访问，301重定向检测，网站地图检测等
long_zuoya的博客
02-28 2532
python多线程读写excel表格，批量检测网站域名访问状态，网站地图，网站重定向等。
【Python正则表达式】网址合法性检测
gf_lvah的博客
05-07 1688
网址合法性检测规则 实现一个函数heck_web_address用于检测网址是否是一个顶级域名。规则如下: 网址名包括字母，数字，下划线，横杠(-), 点号(.) 和 加号(+); 后面紧跟着 .和顶级域名， eg: .com, .info, .edu, .US等 请使用正则表达式实现该函数。 代码实现 import re def check_web_address(text): pattern = r'[\w|.|-|+]+\.(com|info|edu|US|org)$' result =
Python 异步: 检查网站状态示例（21）
冷冻工厂
03-29 662
可以使用读取一大块字节的 read() 方法或读取一行字节的 readline() 方法来读取响应。在使用 asyncio 时，我们可以做得比顺序更好，但这提供了一个很好的起点，我们可以在以后进行改进。我们可能更喜欢 readline() 方法，因为我们使用的是基于文本的 HTTP 协议，它一次发送一行 HTML 数据。然后调用 asyncio.gather() 函数，传递协程并挂起 main() 协程，直到它们全部完成。此函数采用一个或多个协程，暂停执行提供的协程，并将每个协程的结果作为可迭代对象返回。
Python抓取聚划算商品分析页面获取商品信息并以XML格式保存到本地
09-20
Python抓取聚划算商品分析页面，获取商品信息，并将信息以XML格式保存到本地的详细知识点如下： 1. 网络请求与响应处理：文章首先介绍了使用Python标准库urllib2进行网页的请求，以及如何配置请求头（headers），...
python爬虫-正则表达式，2024年Python进阶者的新篇章
最新发布
2401_83977689的博客
04-01 656
这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。最近我才对这些路线做了一下新的更新，知识体系更全面了。
python-16：分析网页源代码
weixin_34413357的博客
11-25 671
2019独角兽企业重金招聘Python工程师标准>>> ...
用程序获取word页码方法汇总
雷动专栏
09-04 2381
背景说明 最近参与了一个档案管理系统，使用java开发，部署在centos，其中的一个功能需要获取到word文件准确的页码，现在将尝试过的方法汇总如下： Java Apache POI C# Microsoft.Office.Interop.Word.Application Python oletools Apache POI 由于系统是java开发的，所以首先尝试了poi，但是获取的页码不准确，所以这个方案放弃掉了。poi操作word的例子很多，这里就不上示例代码了。 C# Microsoft.Off
python爬取分页数据_爬虫抓取分页数据的简单实现
weixin_39894473的博客
12-03 3073
昨天，我们已经利用Jsoup技术实现了一个简单的爬虫，原理很简单，主要是要先分析页面，拿到条件，然后就去匹配url，采用dome解析的方式循环抓取我们需要的数据，从而即可轻松实现一个简单的爬虫。那么，昨天我们说了，我们昨天只是爬取了一页的数据也就是第一页的数据，若想获取分页的全部数据该怎么写呢？正好，今天朋友托我帮忙买一种药，说是她那边没有，于是，我就查询了一下佛山的各大药店，利用我们刚学的爬虫技...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值