Java爬虫

开发环境:IDEA

爬取的网站:http://www.sina.com.cn/

所要用到的工具:Jsoup(下载地址http://jsoup.org/packages/jsoup-1.8.1.jar )

 

下载好了Jsoup以后就要先导入到IDEA中，这里顺带附上教程

点开File->Project Structure->Libraries->点击绿色加号->选择下载好的Jsoup->确认即可

 

那么前期准备好就要正式开始了。由于本人还是新手，有不好的地方请大家见谅哈

先是确认好要爬的网站，即新浪网，在网站中右键选择“检查”

如图出现了下方的一些代码，这就是我们要去爬取的内容。选择好要爬取的东西，点击栏目左上角的鼠标图样

 

 

后点击我们要爬取的地方来定位在代码中的位置

 

 

 

找到了所在位置后就可以开始写代码了

 

 

 String url="http://www.sina.com.cn/";
 Document document = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1; rv:30.0) Gecko/20100101 Firefox/30.0").get();

document包含了该网站中的代码，可输出.text()查看

 

 

得到了代码以后要从中筛选出我们想要的内容，这时我们要查看我们定位所在的class

最近的class

往上一级

往上一级

要逐步定位找到我们所在的"小"class里

 

所以我是这么做

Elements elements = document.select(".part-b-m").select(".uni-blk-b.SC_Order_Fix_Cont").select(".uni-blk-list02.list-a");

select()中的参数前面带“.”是表示寻找的是class，select三次就是为了逐步定位到我们想要的地方

然后采用一个循环去读取

for (Element element : elements) { }

 

 

然后我们发现我们想要的内容是在标签<li><a...>里的,所以我们再一次select

 

 

Elements nice=element.select("li a");

 

然后做一个循环去一个一个的获取内容

for(Element n:nice) {
                    String title = n.text();
                    String link = n.select("a").attr("href").trim();
                    System.out.println("title:" + title);
                    System.out.println("link:" + link);
                }

 

 

最后总的代码如图

package hensome; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import java.io.IOException; /** * Created by user on 2017/3/28. */ public class Experiment2_1 { public static void main(String []args) { try { String url="http://www.sina.com.cn/"; Document document = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1; rv:30.0) Gecko/20100101 Firefox/30.0").get(); Elements elements = document.select(".part-b-m").select(".uni-blk-b.SC_Order_Fix_Cont").select(".uni-blk-list02.list-a"); for (Element element : elements) { Elements nice=element.select("li a"); for(Element n:nice) { String title = n.text(); String link = n.select("a").attr("href").trim(); System.out.println("title:" + title); System.out.println("link:" + link); } } System.out.println(elements.size()); } catch (IOException e) { e.printStackTrace(); } } } 

结果如图

一个很简单的爬虫就出来了

有很多不足的地方欢迎路过的大佬指教两句