简单爬虫原理第一步

URI(uniform resource identifier) 统一资源标示符，用来唯一标示一个资源

URL(uniform resource locator) 统一资源定位符，它是一中具体的URI

四部分组成：协议，存放资源的主机域名，端口号，资源文件名

URL创建：

URL(String spec);绝对路径构建

URL(URL context ,String spec);相对路径构建

例子：

URL url  = new URL("http://www.baidu.com:80/index.html#aa?username=tom"):绝对路径构建

#代表的是锚点，用于网页内的跳转

?代表参数

会抛出malformedException路径构建格式不正确异常

URL url = new URL("http://www.baidu.com:80/a/");

url = new URL(url,"b.txt");相对路径构建

方法：

协议    url.getProtocol();

主机    url.getHost();

端口                       url.getPort();

资源            url.getFile();

相对路径    url.getPath();

锚点      url.getRef();

参数      url.getQuery();?参数，存在锚点返回NULL，不存在锚点返回正确，有一定的冲突

重点url.openStream();

例子：

URL url = new URL("http://www.baidu.com");

    BufferedReader br = new BufferedReader(

new InputStreamReader(url.openStream,"utf-8"));

String msg ;

while((msg=br.readLine()) != null){
System.out.println(msg);

}

后期学到正则表达式再对数据进行解析