xpath与多线程爬虫

最新推荐文章于 2023-09-24 19:56:23 发布
最新推荐文章于 2023-09-24 19:56:23 发布
阅读量327 收藏 1
点赞数
分类专栏： http 文章标签： http
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37634812/article/details/77644103
版权

一.  Xpath的介绍与配置

1.      XPath是什么

XPath是一门语言

XPath可以在XML文档中查找信息

XPath支持HTML

XPath通过元素和属性进行导航

总结：

XPath可以用来提取信息（和正则表达式类似）

XPath比正则表达式更加厉害

XPath比正则表达式更加的简单

如果你之前用正则表达式进行开发，很多时候，明明感觉自己的匹配是正确的，但是就是找不到自己想要的内容，还有时候就是，网页特别复杂，网页的结构层次也十分复杂，你不知道该如何匹配，当你认真的学习了XPath之后，这些问题就会迎刃而解。

2.      如何安装使用XPath

XPath属于lxml库，所以首先我们需要安装这个库，这个库的具体安装步骤我已经写在我的博客里面了大家可自行翻阅。

安装好之后我们将使用from lxml import etree和Selector = etree.HTML(网页源代码)和Selector.xpath(一段神奇的代码)

二.  神器XPath的使用

1.      XPath与HTML结构

HTML是树状结构，他可以逐层展开，我们利用这一特点结合XPath就可逐层定位

            下面请看一个小的页面，我们接下来的测试用例会讲到这个页面。

用chrome打开这个网页，然后打开检查，如下界面(这里我把全部的信息显示出来，便于分析检查)


2.      获取网页元素的XPath

手动分析法

这里我们分析一下，如果我们需要找到“这是第一条信息”我们通过下面的方式去查找

 html->body->div->ul[@useful]->li

补充说明：上面的这段内容肯定不是XPath的代码，这里只是一种形象的表示方法。大家查看上图可以发现ul标签有两个内容，这里我们选择的是id等于useful的标签，所以上面的形象查找部分是ul[@useful],另外就是这里我想要查找的是“这是第一条信息”但是我上面的只有li，大家很容易就明白了，这里返回的应该是一个列表，列表的内容包括了三条信息，“这是第一条信息，这是第二条信息，这是第三条信息”

 

Chrome分析法

手动分析法，在结构比较复杂的网页中分析起来还是比较麻烦，这里我们可以使用chrome分析法，准确快速的定位。我们右击页面，点击检查，或者审查元素，弹出他的代码结构，然后在我们感兴趣的内容对应的代码上面右击，选择Copy，然后选择Copy XPath，把它复制下来，我把刚刚那段感兴趣的内容粘贴下来，大家和上面的手动分析比较一下

//*[@id="useful"]/li[1]

是不是和咱们手动分析的内容有几分类似呢。分析一下chrome给我们的代码，这里有一个*号，而我们手动分析的代码是html，body…这是因为id=useful的这个id只有一个内容，所以我们这里用*进行了省略，如果我们在其他的标签下面也有id=useful这样的内容，是需要像我们手动分析的那样的类似的内容的。代码中li[1]就表示我们的列表里面的第一段内容了，这里就不会出现我们手动分析中的把三段内容都抓取下来的结果了。

3.      应用XPath提取内容

//定位根节点

/往下层寻找

提取文本内容：/text()

提取属性内容：/@xxxx      (xxxx是属性的名字)

下面就是代码部分，具体部分的讲解内容和XPath的使用，我已经注释到代码部分了，大家可以仔细阅读：

 

[python]  view plain  copy
  1. #-*-coding:utf8-*-  
  2. from lxml import etree  #导入etree  
  3. #下面是一个多行字符串，实际就是一个小网页的源代码  
  4. html = ''''' 
  5. <!DOCTYPE html> 
  6. <html> 
  7. <head lang="en"> 
  8.     <meta charset="UTF-8"> 
  9.     <title>测试-常规用法</title> 
  10. </head> 
  11. <body> 
  12. <div id="content"> 
  13.     <ul id="useful"> 
  14.         <li>这是第一条信息</li> 
  15.         <li>这是第二条信息</li> 
  16.         <li>这是第三条信息</li> 
  17.     </ul> 
  18.     <ul id="useless"> 
  19.         <li>不需要的信息1</li> 
  20.         <li>不需要的信息2</li> 
  21.         <li>不需要的信息3</li> 
  22.     </ul> 
  23.  
  24.     <div id="url"> 
  25.         <a href="http://jikexueyuan.com">极客学院</a> 
  26.         <a href="http://jikexueyuan.com/course/" title="极客学院课程库">点我打开课程库</a> 
  27.     </div> 
  28. </div> 
  29.  
  30. </body> 
  31. </html> 
  32. '''  
  33.   
  34. selector = etree.HTML(html)  #使用etree将多行字符串转化成XPath可以识别的对象，然后传递给selector  
  35.   
  36. #提取文本  
  37. #运行的结果是打印出了“这是第一条信息，这是第二条信息，这是第三条信息”  
  38.   
  39. #运用XPath中的/text()获取标签li里面的内容，其中id="useful"，限定了ul，而不是所有的ul  
  40. #这里如果我们把限定条件给去掉，下一句的代码变成了content = selector.xpath('//ul/li/text()')  
  41. #则打印的结果是“这是第一条信息，这是第二条信息，这是第三条信息，不需要的信息1，不需要的信息2，不需要的信息3”  
  42. #因为这里的ul[@id="useful"]是独一无二的，我们不必担心，当然，如果我们想保险一点的话，还可以在ul的前面，加上他的上一层标签  
  43. #//div/ul[@id="useful"]/li/text()我们还可以在div的后面添加代码变成div[@id="content"]  
  44. content = selector.xpath('//ul[@id="useful"]/li/text()')  
  45. for each in content:  
  46.     print each  
  47.   
  48. #提取属性,下面代码的运行结果是打印出上面网页代码中的两个链接  
  49. #这里就使用了上文所讲的方式，提取属性内容：/@xxxx      (xxxx是属性的名字)  
  50. #这里的网页比较简单，当我们做其他的操作时，肯定不能像这个一样，我们就可以像上文一样给它加限定比如下面的代码  
  51. #//div[@id="url"]/a/@href  
  52. link = selector.xpath('//a/@href')  
  53. for each in link:  
  54.     print each  
  55.   
  56. #下面这段代码的结果是提取“极客学院课程库”这些内容，大家可以尝试一下  
  57. title = selector.xpath('//a/@title')  
  58. print title[0]  


 下文的截图是代码运行的结果


三.  神奇XPath的特殊用法

1.      以相同的字符开头的情况

starts-with(@属性名字,属性字符相同部分)

2.      标签套标签

string(.)

下面是代码详解

 
 

  
  

   
   

    
    [python] 
    
    view plain
    
     copy
    
    

    
     
   
   

  
  

  
  
  1. #-*-coding:utf8-*-  
  2. from lxml import etree  
  3.   
  4. #首先将一下下面代码的困难之处，在html1中的body标签下的div标签里面，有三个id，且三个id不同  
  5. #这就是我们需要处理的第一类问题，以相同的字符开头的情况  
  6. html1 = ''''' 
  7. <!DOCTYPE html> 
  8. <html> 
  9. <head lang="en"> 
  10.     <meta charset="UTF-8"> 
  11.     <title></title> 
  12. </head> 
  13. <body> 
  14.     <div id="test-1">需要的内容1</div> 
  15.     <div id="test-2">需要的内容2</div> 
  16.     <div id="testfault">需要的内容3</div> 
  17. </body> 
  18. </html> 
  19. '''  
  20.   
  21. #在接下来的html2中出现标签套标签  
  22. html2 = ''''' 
  23. <!DOCTYPE html> 
  24. <html> 
  25. <head lang="en"> 
  26.     <meta charset="UTF-8"> 
  27.     <title></title> 
  28. </head> 
  29. <body> 
  30.     <div id="test3"> 
  31.         我左青龙， 
  32.         <span id="tiger"> 
  33.             右白虎， 
  34.             <ul>上朱雀， 
  35.                 <li>下玄武。</li> 
  36.             </ul> 
  37.             老牛在当中， 
  38.         </span> 
  39.         龙头在胸口。 
  40.     </div> 
  41. </body> 
  42. </html> 
  43. '''  
  44.   
  45. selector1 = etree.HTML(html1)  
  46. #下面代码里面//div[starts-with(@id,"test")]/text()'注意讲到的一个新用法，这里的意思是，标签id中以“test”开头的所有标签都会被提取出来  
  47. #运行的结果是“需要的内容1，需要的内容2，需要的内容3”  
  48. content1 = selector1.xpath('//div[starts-with(@id,"test")]/text()')  
  49. for each in content1:  
  50.     print each  
  51.   
  52. #下面的代码是标签套标签的错误使用，就是我们利用上一章节的使用方法  
  53. #直接提取div[@id="test3"]，运行的结果是只能提取div里面的内容，而div里面嵌套的标签的内容无法提取  
  54. #运行的结果是“我左青龙  龙头在胸口”，这显然不是我们想要的内容  
  55. selector2 = etree.HTML(html2)  
  56. content_2 = selector2.xpath('//div[@id="test3"]/text()')  
  57. for each in content_2:  
  58.     print each  
  59.   
  60. #下面的内容就是我们提取的完整的内容  
  61. #我们这里的思想还是先大后小的思想，我们先提取div下面的所有的内容  
  62. #然后直接使用info = data.xpath('string(.)')，但是注意的是这一句执行的结果会把换行，空格都给提取出来  
  63. #所以我们需要使用替换，把换行符合空格符全部替换掉  
  64. #运行的结果是我左青龙，右白虎，上朱雀，下玄武。老牛在当中，龙头在胸口。  
  65. selector3 = etree.HTML(html2)  
  66. data = selector3.xpath('//div[@id="test3"]')[0]  
  67. info = data.xpath('string(.)')  
  68. content_3 = info.replace('\n','').replace(' ','')  
  69. print content_3  

四.  Python并行化介绍与演示

1.      并行化简单理解

这里可以理解为python的多线程(这里的多线程不是真正的多线程)

多个线程同时处理任务，提高效率，具有高效和快速的特点

2.      map使用实现爬虫并行化

map函数包括序列操作，参数传递和结果保存等一系列操作

使用map函数时需要导入Pool这个类，使用代码：

from multiprocessing.dummy import Pool

根据自己的计算机核数的不同，下面的代码使用的数字有改动：

pool = Pool(4)

接着使用result = pool.map(爬取函数,网址列表)

下面是代码详解：

[python]  view plain  copy
  1. #-*-coding:utf8-*-  
  2.   
  3. #导入map所在的Pool这个类，然后重新命名为ThreadPool  
  4. #导入requests抓取网页源代码  
  5. #导入time计算时间，比较单线程和多线程的时间  
  6. from multiprocessing.dummy import Pool as ThreadPool  
  7. import requests  
  8. import time  
  9.   
  10. #定义了一个函数，其作用是获取传入的URL的源代码  
  11. def getsource(url):  
  12.     html = requests.get(url)  
  13.   
  14. urls = []  
  15.   
  16. #下面的这些代码生成20行网址，这里range函数使用头但是不使用尾，所以这里传入的是21  
  17. for i in range(1,21):  
  18.     newpage = 'http://tieba.baidu.com/p/3522395718?pn=' + str(i)  
  19.     urls.append(newpage)  #将这二十个网址全部添加到urls这个列表里面  
  20.   
  21. time1 = time.time()  #该语句的作用是记下程序运行到这一步的时间  
  22. for i in urls:  
  23.     print i  
  24.     getsource(i)  
  25. time2 = time.time()  #记下时间2  
  26. print u'单线程耗时：' + str(time2-time1)  #两个时间相减就是上面这段代码执行完的总时间  
  27.   
  28. #使用Python的并行化操作  
  29. pool = ThreadPool(4)  #初始化一个实例  
  30. time3 = time.time()  
  31. results = pool.map(getsource, urls)  #使用getsource和map函数进行爬取  
  32. #map的作用就是并行的处理getsource这个函数，然后传入的是urls的内容  
  33. pool.close()  
  34. pool.join()  
  35. time4 = time.time()  
  36. print u'并行耗时：' + str(time4-time3)  
  37.   
  38. #运行结果是单线程爬虫比多线程爬虫的时间要长的多  
  39.   
  40. #这里map只是做一个了解，以后还会讲到scrypy  



 

五.  实战—百度贴吧爬虫

目标网站：http://tieba.baidu.com/p/3522395718

目标内容：跟帖用户名，跟帖内容，跟帖时间

涉及知识：

          requests爬取网页源代码

          XPath提取内容

          map实现多线程爬虫

请看代码分析：(这之前你得熟悉想要找的内容，这里建议大家使用chrome的检查或者审查元素功能)

[python]  view plain  copy
  1. #-*-coding:utf8-*-  
  2. from lxml import etree #需要使用XPath的etree  
  3. from multiprocessing.dummy import Pool as ThreadPool   #使用多线程爬虫  
  4. import requests   #抓取网页的源代码  
  5. import json   #这里导入了json的库，是因为源代码中有一部分是用json保存的，这里以后会说到  
  6. import sys  
  7.   
  8. reload(sys)  
  9.   
  10. sys.setdefaultencoding('utf-8')  #上面三行代码的作用是使内容强制转化成utf-8，不然会出现乱码  
  11.   
  12. '''''重新运行之前请删除content.txt，因为文件操作使用追加方式，会导致内容太多。'''  
  13.   
  14. #定义了一个函数，将内容写入文本中  
  15. def towrite(contentdict):  
  16.     f.writelines(u'回帖时间:' + str(contentdict['topic_reply_time']) + '\n')  
  17.     f.writelines(u'回帖内容:' + unicode(contentdict['topic_reply_content']) + '\n')  
  18.     f.writelines(u'回帖人:' + contentdict['user_name'] + '\n\n')  
  19.   
  20. #爬虫函数  
  21. def spider(url):  
  22.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}  
  23.     html = requests.get(url,headers = headers)   #获取网页源代码  
  24.     #print html  
  25.     selector = etree.HTML(html.text)  #将其转化成可以使用XPath处理的对象  
  26.     content_field = selector.xpath('//div[@class="l_post l_post_bright "]') #获取一整个div，这里使用了先抓大后抓小的技巧  
  27.     item = {}  #定义了一个字典  
  28.     for each in content_field:  
  29.         reply_info = json.loads(each.xpath('@data-field')[0].replace('"','')) #再次使用XPath，抓取每一个回帖里面的评论内容  
  30.         #其中还使用了替换和json.loads，将json的内容转换成字典格式  
  31.         author = reply_info['author']['user_name']  #使用字典的形式将作者的信息进行存储  
  32.         #下面的代码获取所有评论信息  
  33.         content = each.xpath('div[@class="d_post_content_main"]/div/cc/div[@class="d_post_content j_d_post_content "]/text()')[0]  
  34.         reply_time = reply_info['content']['date']  
  35.         print content  #将获取的信息打印出来  
  36.         print reply_time  
  37.         print author  
  38.         item['user_name'] = author#将信息传入到字典里面  
  39.         item['topic_reply_content'] = content  
  40.         item['topic_reply_time'] = reply_time  
  41.         towrite(item)  
  42.   
  43. if __name__ == '__main__':  
  44.     pool = ThreadPool(4)   #此处是为了实现多线程爬虫，提高效率  
  45.     f = open('content.txt','a')  #打开一个文件  
  46.   
  47.     #生成20个网页链接，将其保存在一个列表中  
  48.     page = []  
  49.     for i in range(1,5):  
  50.         newpage = 'http://tieba.baidu.com/p/3522395718?pn=' + str(i)  
  51.         page.append(newpage)  
  52.     print page  
  53.     # results = spider('http://tieba.baidu.com/p/3522395718?pn=1')  
  54.     results = pool.map(spider, page)  #使用并行技术将其爬取下来  
  55.     pool.close()  
  56.     pool.join()  
  57.     f.close()  
(上文的代码可能因为网页的变动，使得有些代码不能测试，大家可以根据上文修改)
数据科学家corten
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python的多线程爬取下载图片
11-23
python的多线程爬取下载图片
XPath与多线程爬虫
NeilZhy
01-23 1425
一.  Xpath的介绍与配置 1.      XPath是什么 XPath是一门语言 XPath可以在XML文档中查找信息 XPath支持HTML XPath通过元素和属性进行导航 总结： XPath可以用来提取信息（和正则表达式类似） XPath比正则表达式更加厉害 XPath比正则表达式更加的简单 如果你之前用正则表达式进行开发，很多时候，明明感觉自己的匹配是正确的，但是
Python爬虫学习笔记(3)-XPath与多线程爬虫
SkyeyesXY的博客
03-09 5171
Python爬虫学习笔记(3)-XPath与多线程爬虫标签（空格分隔）： python 多线程 爬虫
XPath和多线程
weixin_50517509的博客
08-18 151
XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。 多线程是指从软件或者硬件上实现多个线程并发执行的技术。
Python 爬虫学习笔记之多线程爬虫
01-20
刚学过正则表达式，用的正顺手，现在就把正则表达式替换掉，使用 XPath，有人表示这太坑爹了，早知道刚上来就学习 XPath 多省事 啊。其实我个人认为学习一下正则表达式是大有益处的，之所以换成 XPath ，我个人认为...
爬虫分享(二)：多线程爬取妹子图
12-22
总结来说，这个多线程爬虫示例展示了如何利用Python的`threading`库来并行处理任务，以提高爬虫的效率。通过创建多个线程，可以同时处理多个图片下载任务，大大减少了整体耗时。值得注意的是，虽然多线程可以提高...
实现多线程爬虫与ES新闻搜索引擎.zip
最新发布
03-08
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
基于Java的多线程爬虫框架.zip
03-06
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
Python3爬虫多线程+xpath实现
鸟人的神秘基地
04-10 231
多线程爬取糗事百科段子 from threading import Thread from queue import Queue import requests from fake_useragent import UserAgent from lxml import etree class CrawlInfo(Thread): def __init__(self,url_queue...
xpath基础和多线程基础
L2305757568的博客
08-18 405
1.决定路径： 用”/“开头路径 - 标签在树结构中的路径（路径必须从根节点开始写）节点对象.xpath（获取标签路径/text()）:获取指定路径下所有标签的标签内容。线程：线程是进程执行任务的基本单元（一个进程中的任务都是在线程中执行的）xml保存数据是通过标签（元素）的标签内容和标签属性来保存数据的。的在多个线程之间切换，造成多个线程同时执行的假象，多线程实现的是。线程的特点：如果在一个线程中执行多个任务，任务是串行执行的。3.全路径：用”//“开头的路径，在整个树中获取标签。...
xpath和多线程解析
weixin_60148315的博客
08-16 135
xpath和多线程解析 1. 专业术语 “”" 树：整个html或xml结构 节点：html中的每个标签，xml中标签就是节点 根节点：树的第一个节点，html的根节点就是html标签 属性：节点属性（html中就是标签属性） “”" 2.xml数据格式 json数据和xml数据是两种通用的数据格式，用于不同语言之间进行数据交流 “”" 将一个超市的商品数据进行传输： json: { "name": "永辉超市", "address": "肖家河大厦", "goods": [
使用ETREE获取文本元素
2302_79819675的博客
09-24 681
etree是python中的XML解析库，主要用于解析和操作XML文档，用 pip install lxml 安装etree。3.通过href属性定位查找出已知Html中[li]中第4个[li]标签属性及a元素文本信息。2.通过class属性查找html中第三个【li】标签属性和a元素文本信息。1.查找出html中【li】第一个【li】标签下的a元素文本信息。4：提取出含有‘line-’的li下的a元素内容。5.删除左右空格，使用空格替换\n。以HTML为例来获取其中的元素。
四.响应解析——解析HTML格式
lemon_lrj的博客
03-29 1526
一. 解析html； 安装：pip3 install lxml 引用：from lxml import etree import requests # 解析html 安装 pip3 install 1xml from lxml import etree res = requests.get(url='http:/.....orders2/?page=1') # 访问页面 selector = etree.HTML(res.text) # 取到html页面的内容 count = int(selecto
爬虫基础-通过etree+xpath和beautifulsoup+selector爬取数据
qq_51690310的博客
03-24 2245
学习爬虫解析过程中的一个小练习
网页元素节点选取之xpath测试——python lxml的etree方法
我重来的博客
07-13 4129
最近在用scrapy爬取数据，每次写一堆xpath语法，然后运行爬虫时由于xpath语法错误、或者逻辑错误亦或者节点不精准多做很多工作，于是想查查看有没有简易的xpath节点测试工具或方法：网上有xpath在线测试小工具，但这种在线测试网页在测试网页文本较大时测试匹配不出来，另外测试时匹配给的是匹配节点的子节点，要测试匹配节点属性选取时用不上。还有不少第三方小工具下载，小小测试再装个小程序不合我意...
【Python】Python爬虫之Selector选择器
努力发光呀
06-05 1万+
XPath 语法 XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。 XML 实例文档 我们将在下面的例子中使用这个 XML 文档。 &amp;lt;?xml version=&quot;1.0&quot; encoding=&quot;UTF-8&quot;?&amp;gt; &amp;lt;bookstore&amp;gt; &amp;lt;
(python)Xpath如何提取html标签（HTML标签和内容）
热门推荐
第一天
07-16 2万+
问题： (python)Xpath如何提取html标签（HTML标签和内容） 描述: &lt;div&gt; &lt;table&gt; &lt;tr&gt; &lt;td&gt;Row value 1&lt;/td&gt; &lt;td&gt;Row value 2&lt;/td&gt; &lt;/tr&g
编写爬取起点小说网的多线程爬虫
03-28
以下是使用Python编写的爬取起点小说网的多线程爬虫代码： ```python import requests from lxml import etree from queue import Queue import threading # 定义爬虫类 class Spider(): def __init__(self, url,...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值