Java+Jsoup爬虫微博

源码链接：https://pan.baidu.com/s/1oOAxJqSMCyVJPNv-iAYW7A
提取码：1co9

Java+Jsoup爬虫小红书，微博，B站

爬取地址：https://weibo.com/1234692083/Ixnp6nuPk
目标：抓取文章的转发量，评论量，点赞量

1.F12分析下页面

2.使用Jsoup进行抓取
这里发现，毛都没有取到，找了半天没线索

在使用get请求试一下

这啥玩意？？？
问下度娘，原来这是（新浪访客系统），想要获取到微博的静态页面，需要在请求头里埋入Cookie
感谢大佬提出的思路让我少走了很多弯路：微博爬虫之：无需账号获取微博weibo的Cookie

如何获取Cookie?
请求俩接口得到必要的参数就ok了
接口1：https://passport.weibo.com/visitor/genvisitor?cb=gen_callback（返回tid）
接口2：https://passport.weibo.com/visitor/visitor?a=incarnate&t=接口1里的tid&w=3&c=100&cb=cross_domain&from=weibo（返回sub和subp）
Cookie：Sub=接口2的sub; SUBP=接口2的subp

之后使用Jsoup，Cookie带入请求头，获取微博静态页面析出需要的值即可

分析了一下，数据在js里，需要解析出来

我们需要的值在这里的html属性下，想尽一切方法，取出来就行，如何取出

分析了一下后，我决定用正则方式删选出要的数据，在替换掉前后符号，在转为json，调出对应值即可

开头：FM.view(
结尾：)

就可以遍历，拿到所有符合这个规则的数据

替换前：FM.view(
替换后：

替换前：)
替换后：

转为json格式

遍历：ns==pl.content.weiboDetail.index的html属性取出

字符串转为Jsoup
Jsoup.parseBodyFragment(html)

分析结构，解析数据

获取.WB_row_line下的span.S_line1下的第二个em
.WB_row_line span.S_line1 em:nth-child(2)
将4个em存入list集合
取2，3，4即可