点击上方“Python爬虫与数据挖掘”,进行关注
回复“书籍”即可获赠Python从入门到进阶共10本电子书
今
日
鸡
汤
挂席东南望,青山水国遥。
大家好,我是Python进阶者。
一、前言
前几天在Python最强王者交流群【黑科技·鼓包】问了一个Python网络爬虫处理的问题。问题如下:有没有大佬指点下怎么用xpath写drissionpage?或者用相对位置?我看了半天中文文档硬是写不出来。
这是xpath //*[@id="ng-app"]/body/div/div/div[1]/div[2]/ul/li[2]/a
这是完整xpath /html/body/div/div/div[1]/div[2]/ul/li[2]/a
这是sel body > div > div > div.t2-header > div.t2_nav > ul > li:nth-child(2) > a
这是js document.querySelector("body > div > div > div.t2-header > div.t2_nav > ul > li:nth-child(2) > a")
这是co 实时监察
我更倾向于写 > >结构,但是看不懂drissionpage的说明...
二、实现过程
这里【隔壁😼山楂】给了一个指导,如下所示:直接ele2.ele('.nav_li2')能获取到吗?还是说你不仅要这个红款里的?
【黑科技·鼓包】:ele2.ele获取不到,想实现点击这个标签,红框里的就是我想点击的元素,山楂大佬说的我试过,为什么不行,是因为class不是首属性,首属性是class =才可以,首属性是a herf,用text找也试过,也不行,不知道为什么,后面这个文本搜索试过,也不行。
【吴超建】:检查下你的ele2是否正确呗,drssionpage也支持xpath写法,。
【郑煜哲·Xiaopang】:直接在你需要的元素上,右键,复制可以为xpath的,如果你找不到元素,有一种可能是,内嵌了iframe,需要先选择到iframe上。
【黑科技·鼓包】:我用的是免登陆跳转,所以,第一个标签虽然是*\*\的形式,但是运行完就是/mh,点击第一个标签的电子监察会新标签页到第二个标签页。不理解,完全不理解为什么顺序这么难懂。
【黑科技·鼓包】:经过中午无聊的开会,我突然领悟了山楂大佬的指点,学会了精准匹配。不用纠结顺序,直接匹配标题。不得不说drissionpage是个好用的东西。
不过后来他又遇到了另外一个小问题:有个新问题咨询下,pd read json 怎么读取嵌套?类似[词典与词典组成列表结构]结构的。
【瑜亮老师】:这个的确是处理某列内嵌套的字典形式数据的方法
顺利地解决了自己的问题。
如果你也有类似这种Python相关的小问题,欢迎随时来交流群学习交流哦,有问必答!
三、总结
大家好,我是Python进阶者。这篇文章主要盘点了一个Python网络爬虫处理的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。
最后感谢粉丝【黑科技·鼓包】提出的问题,感谢【隔壁😼山楂】、【瑜亮老师】给出的思路,感谢【冯诚】、【莫生气】等人参与学习交流。
【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。
大家在学习过程中如果有遇到问题,欢迎随时联系我解决(我的微信:pdcfighting1),应粉丝要求,我创建了一些高质量的Python付费学习交流群和付费接单群,欢迎大家加入我的Python学习交流群和接单群!
![e753c9ee5b7b237fc024b00549949c41.png](https://img-blog.csdnimg.cn/img_convert/e753c9ee5b7b237fc024b00549949c41.png)
小伙伴们,快快用实践一下吧!如果在学习过程中,有遇到任何问题,欢迎加我好友,我拉你进Python学习交流群共同探讨学习。
------------------- End -------------------
往期精彩文章推荐:
欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持
想加入Python学习群请在后台回复【入群】
万水千山总是情,点个【在看】行不行
/今日留言主题/
随便说一两句吧~~