JSoup爬虫技术

写的都是自己的心得，转载请标明出处：https://blog.csdn.net/weixin_41156319/article/details/94560767

JSoup是现在比较火的爬取数据的技术，因为其简单有效，对于学习过JS，JQuery的开发人员比较容易。现在爬虫技术一般都是通过HTTPClient进行获取页面源码，然后通过JSoup进行解析HTML页面。下面就我对JSoup的理解，并列举一个小Demo进行说明。

JSoup是什么？

 JSoup是一款Java的HTML解析器,主要用来对HTML解析。

JSoup的特点？

• JSoup可以对Html页面字符串，文件，URL进行爬取并解析HTML。
• JSoup可以利用DOM或则CSS选择器来查找标签进行获取数据
• JSoup可以通过attr进行标签属性的更改
• JSoup可以通过白名单来清理用户提交的内容，防止XSS攻击

实战-爬取京东商城商品信息

本实战直接采用JSoup进行页面抓取，页面数据爬取。虽然JSoup可以完成页面获取，但有局限性，只能支持HTTP和HTTPS协议。本Demo为了方便直接采用JSoup来开发，建议采用HTTPClient来获取源码。

首先展示一下获取到的数据，演示项目只抓取了一个页面的数据。

Goods{name='六福珠宝 网络专款足金康乃馨黄金珐琅工艺吊坠女款挂坠不含项链女款 计价 GDGTBP0022 2.63克(含工费171元)', price='1236.00', imgUrl='//img10.360buyimg.com/n7/jfs/t1/33090/4/15084/173381/5d195638E6acaf2ac/57963a0dafce6025.jpg', title='六福珠宝 网络专款足金康乃馨黄金珐琅工艺吊坠女款挂坠不含项链女款 计价 GDGTBP0022 2.63克(含工费171元)', href='https://item.jd.com/46526107175.html'}
Goods{name='炫银部落 黄金项链999足金吊坠18K金套链女心形3D硬金生日礼物 999足金心形吊坠+18k金链', price='229.00', imgUrl='//img14.360buyimg.com/n7/jfs/t1/83555/14/1070/87748/5cf48a2cEc3f57365/7a5eff80eb4bb098.jpg', title='炫银部落 黄金项链999足金吊坠18K金套链女心形3D硬金生日礼物 999足金心形吊坠+18k金链', href='//item.jd.com/49209944114.html'}
Goods{name='赛菲尔 黄金项链足金 9999金吊坠花朵锁骨链女款套链 芙蓉 送礼 金重约5.7-5.82克', price='2304.00', imgUrl='//img13.360buyimg.com/n7/jfs/t4726/58/2160648948/195202/7a708868/58f9d0a5N82afe5c7.jpg', title='赛菲尔 黄金项链足金 9999金吊坠花朵锁骨链女款套链 芙蓉 送礼 金重约5.7-5.82克', href='//item.jd.com/3567923.html'}
Goods{name='鸣钻国际 水滴之恋 黄金项链套链女款 足金石榴石吊坠项坠挂坠配金链子 珍贵如你，幸运如我，满1000减100,白条6期免息，好货不贵，立即抢购，猛戳！！', price='3488.00 ', imgUrl='//img10.360buyimg.com/n7/jfs/t1/10512/15/2087/93948/5be00b94Ea54ead1f/66394c64d9dda521.jpg', title='珍贵如你，幸运如我，满1000减100,白条6期免息，好货不贵，立即抢购，猛戳！！', href='//item.jd.com/100000837950.html'}
Goods{name='周大福 礼物 依恋 肖邦链 足金黄金项链(工费:98计价) F172885 足金 45cm 约5.80g 【京东配送，急速送达】6.25-7.3热销商品低至120元，用券更省，立即抢购！', price='2447.00', imgUrl='//img10.360buyimg.com/n7/jfs/t18466/309/585753538/217120/1b00fc3d/5a97c76cNf5b706de.jpg', title='【京东配送，急速送达】6.25-7.3热销商品低至120元，用券更省，立即抢购！', href='//item.jd.com/5712110.html'}
Goods{name='周生生 CHOW SANG SANG 黄金足金万字项链百搭素链 女款 09251N 40厘米 - 2.5克 【京东物流，高效送达】6.30-7.7，热销黄金满2000减80/满3500减200/满5000减350，指定非黄金饰品每满599减60，领券再减！', price='1087.00', imgUrl='//img11.360buyimg.com/n7/jfs/t9781/93/1083934663/62687/2bc1e978/59dc92a7N9f23d3a9.jpg',