python爬虫学习之微博指定信息抓取

爬虫学习的一点心得

任务：微博指定信息抓取

抓取：requests

解析：xpath，正则表达式

遇到的问题:

1.正则解析或Xpath解析的时候采用先抓大再抓小的方法会使抓取的信息更加准确且不会有遗漏

2.先抓大：获取到div（class=c）下的div标签中所有节点的内容text，利用tostring函数把每个个节点及其子节点形成的树转换成html，在抓小：然后正则替换掉所有标签，然后获取需要的所有信息。或者是需要的信息（微博内容有很多P标签内容需要拼接）------这个案例直接用正则解析可能更容易一些

 

转载于:https://www.cnblogs.com/tian2B/p/10878462.html