刚接触爬虫,就遇到一个让我很抓狂的地方:两个标签都相同时,该怎么爬取具体第二个标签?如图:
这两个标签是完全一样的,如果用 .find(),那么只会找到第①个;如果用 .find_all()方法,那么会把两个都找出来放一起(我不会怎么把第二个标签的内容分离出来,如果有朋友知道,还请告知)
研究了一波官方文档,虽然没有找到优雅的解决办法,但得到了一些灵感:需要利用兄弟、父节点来定位第②个。
树结构图:(箭头方向是定位的思路)
html_data.find('thead').parent.parent.next_sibling.next_sibling.tbody.find_all('tr')
特别要注意:如果要找兄弟节点,比如用两个 .next_silbing ,但父节点就不需要。(不知道为什么,有人说会把\n看做一个兄弟节点,不知道是不是)
另:Stack Overflow上看到有人说可以用CSS选择器定位,但现在没学过CSS,教材有点看不懂,等看懂了用那个方法吧。