java 爬取房天下房源数据

最新推荐文章于 2024-07-10 08:49:38 发布
最新推荐文章于 2024-07-10 08:49:38 发布
阅读量4.8k 收藏 4
点赞数
分类专栏： JAVA 文章标签： java 爬虫

文章出处:点击打开链接

笔者说明~~~！！！只用于学习交流，私自用于其他途径，后果自负！！！ 

利用httpclient4.5模拟请求，jsoup进行页面解析

  一、分析页面，确定需要爬取数据

      如下图页面，每一页的url需要得到，同时需要得到该房源详细信息以及对应经纪人信息

         

二、由此创建如下类：

/**
 * 房源信息
 * @author yangJun
 *
 */
public class HouseInfo  implements Serializable{
	/**
	 * 
	 */
	private static final long serialVersionUID = 1L;

	/**
	 * 标题
	 */
	private String title;

	/**
	 * 总价
	 */
	private String finalPrice;
	/**
	 * 参考首付
	 */
	private String referPay;
	/**
	 * 参考月供
	 */
	private String referMonth;
	
	/**
	 * 户型
	 */

    private  String  apartmentLayout; 

    /**
     * 建筑面积

     */
    private String  buildMeasureOfArea;
    /**
     * 使用面积
     */
    private String  useMeasureOfArea;
    /**
     * 年代
     */
    private String  years;
    /**
     * 朝向
     */
    private String  orientation;
    /**
     * 楼层
     */
    private String floor;

    /**
     * 结构

     */
    private String structure;
    /**
     * 装修

     */
    private String renovation;

    /**
     * 住宅类别
     */
    private String  residCategory;
    /**
     * 建筑类别
     */
    private String  architCategory;
    /**
     * 产权性质
     */
    private String propertyRight;
    /**
     * 楼盘名称
     */

    private String propertyName;
    /**
     * 配套设施
     */
    private String    suppFacil; 
 
 
  
    /**

     * 房源描述
     */
    private String  describe;
    /**
     * 联系电话
     */

    private String  phone;
     /**
      * 联系人名称
      */
    private String  persionName;

    /**
     * 地址
     */
    private String  address;
    /**
     * 交通状况
     */
    private String traffic;
    /**

     * 来源url
     */
    private String houserFromUrl;
    /**

     * 更新时间
     */
    private  String updateTime;
    /**
     * 爬取时间

     */
	private  String climbingTime;
.....................
/**
 * 对应经纪人信息
 * @author yangJun
 *

 */
public class ContactsInfo  implements Serializable{
	
	/**

	 * 
	 */
	private static final long serialVersionUID = 1L;

	/**

	 * 名称
	 */
	private String name;
	
	/**
	 * 好评率
	 */
	private String rateOfPraise;
	/**
	 * 真实度
	 */
	private String truthDegree;

	/**
	 * 满意度
	 */
	private String satisDegree;

	/**
	 * 专业度
	 */
	private String professDegree;
	/**
	 * 电话
	 */

	private String phone;
	/**
	 * 详细信息页面
	 */
	private String detailedInfoUrl;
	/**
	 * 头像地址
	 */
	private String photoUrl;
...............
/**

 * 对应小区信息

 * @author yangJun
 *
 */
public class CommunityInfo implements Serializable {
	
	/**

	 * 
	 */

	private static final long serialVersionUID = 1L;
	/**
	 * 楼盘详细信息url
	 */
	private String propertyInfoUrl;

	/**
	 * 楼盘名称
	 */
  private String 	propertyName;
  /**
   * 二手房
   */
  private String    secondHandHousing;
  /**
   * 租房

   */
  private String   rental;
  /**
   * 物业类型

   */
  private String  propertyType;
  /**

   * 绿化率
   */
  private String  greeningRate;
  /**
   * 物业费
   */
  private String  propertyFee;

  /**
   * 物业公司
   */
  private String  propertyCompany;
  /**
   * 开发商
   */

  private String  developers;
  /**
   * 此楼盘此月均价
   */

  private String averagePrice;
  /**

   * 环比上月
   */
  private String  thanLastMonth;
  /**
   * 同比上年
   */

  private String  yearOverYear;
  

/**
 * 封装对象
 * @author yangJun
 *
 */

public class SummaryModel  implements Serializable{
	/**
	 * 

	 */
	private static final long serialVersionUID = 1L;
	/**
	 * 小区相关信息
	 */
	private CommunityInfo comm;
	/**

	 * 经纪人信息
	 */

	private ContactsInfo contactsInfo;
	/**
	 * 房屋信息
	 */
	private HouseInfo houseInfo;
	/**

	 * 查询条件信息
	 */

三、分析页面，分析页面数据返回方式，非动态生成，因此我们在这里只需要获取到生成返回的html页面然后进行解析就可以了

      1、根据根url获取可爬取url列表，这里我们实验的是二手房信息，并定位到西安

根url： http://esf.xian.fang.com/

/**

		 * 根据根url获取可爬取页面url集合
		 * @param map
		 * @param url
		 * @return

		 */
		public static Map<String,String> getAllUrl(Map<String, String> map,String url){
			String res="";
			res= BaseGetPage.reqHttpGet(url);
			Document html = null;

	 		if(!"".equals(res)){
				html=Jsoup.parse(res);
				String nextUrl="";
				  Element elementById = html.getElementById("list_D10_15");
				  //当前页
				  String now="共"+elementById.getElementsByClass("pageNow").html()+"页";
				  //总页数
				  String allTxt=elementById.select("span").html();
				  elementById.getElementsByClass("pageNow").remove();
				  Elements elementsByTag = elementById.getElementsByTag("a");
				  for (int i = 0; i < elementsByTag.size(); i++) {
					  if(elementsByTag.get(i).hasAttr("id")){
						  elementsByTag.get(i).remove();
						}else{
							map.put(ClimbingModel.URL_FangTianxia+elementsByTag.get(i).attr("href"), elementsByTag.get(i).html());
							nextUrl=elementsByTag.get(i).attr("href");
						}
					  if(i==(elementsByTag.size()-1)){
							//需要进行下一轮页面获取url
							if(allTxt.equals(now)){
								break;
							}else{
								getAllUrl(map, ClimbingModel.URL_FangTianxia+nextUrl);

							}
						}
				}
			}else{
				System.out.println("未知错误!无法获取信息");
			}
			return map;

		}

上面代码中的BaseGetPage.reqHttpGet(url)，是获取html页面，在之前的博文中有代码，这里不在添加

代码的实现根据下图的html代码进行截取

         

下图为代码运行结果


2、在这里我们获得了页面地址，那么下来就是进行遍历，根据每个页面url获得经纪人url，更新时间，房屋详细信息页面url

	public  static Map<String,String> getNowUrlTime(String url){
			if(url.equals("")){
				url=ClimbingModel.URL_FangTianxia;
			}
			String res="";
			res= BaseGetPage.reqHttpGet(url);
			Document html = null;
			Map<String,String> map=new HashMap<String,String>();
			if(!"".equals(res)){
				html=Jsoup.parse(res);
				//System.out.println(html);
				Elements elementsByClass = html.getElementsByClass("houseList");
				if(elementsByClass.size()>0){
					Elements elementsByClass2 = elementsByClass.get(0).getElementsByTag("dl");
					for (Element element : elementsByClass2){
						String houseInfoUrl = element.select("a").attr("href");
						String ContactsInfoUrl= element.getElementsByClass("gray6").select("a").attr("href");
						String updateTime = element.getElementsByClass("gray6").select("span").html();


						map.put(ClimbingModel.URL_FangTianxia+houseInfoUrl+";"+ClimbingModel.URL_FangTianxia+ContactsInfoUrl, updateTime);
					}
				}else{
					System.out.println("请您查看,页面获取有误!");
				}
			}else{
				System.out.println("未知错误!无法获取信息");
				
			}
			return map;
		}
}


如图片中的;分别是房源信息url和经纪人信息

3、最后进行具体信息的获取

/**
	 * 根据每页url获取房屋详细和小区相关信息,以及经纪人的基本信息和url
	 * @return
	 */
	public  static SummaryModel getHouseInfo(String url,String updateTime){
		//String url=ClimbingModel.URL_FangTianxia+"/chushou/3_153474871.htm";
		SummaryModel sumarModel=new SummaryModel();
		HouseInfo house=new HouseInfo();
		CommunityInfo comm=new CommunityInfo();
		ContactsInfo contact=new ContactsInfo();
		String res="";
		res= BaseGetPage.reqHttpGet(url);
		house.setUpdateTime(updateTime);
		Document html = null;
		if(!"".equals(res)){
			html=Jsoup.parse(res);
			//System.out.println(html);
			house.setHouserFromUrl(url);
			//System.out.println("title ："+html.getElementsByTag("title").html());
			house.setTitle(html.getElementsByTag("title").html());
			Elements elementsByClass = html.getElementsByClass("inforTxt");
			if(elementsByClass.size()<=0){
				System.out.println("么有数据");
			}
			Elements elementsByClass1 = elementsByClass.get(0).getElementsByTag("dd");
			for (Element element : elementsByClass1) {
				if(element.hasAttr("style")){
					element.remove();
				}else{
					element.getElementsByClass("padl27").remove();
					String s=element.select("span").html();
					element.select("span").remove();
					String s1=element.html();
					if(s1.contains("面积")){
						if(s1.contains("使用")){
							house.setUseMeasureOfArea(s1+s.replaceAll("�", "")+"㎡");
						}else{
							house.setBuildMeasureOfArea(s1+s.replaceAll("�", "")+"㎡");

						}
						//System.out.println(s1+s.replaceAll("�", "")+"㎡");
					}else{
						if(s.contains("参考首付")){
							house.setReferPay(s+s1);
						}else if(s.contains("户型")){
							house.setApartmentLayout(s+s1);
						}else  if(s.contains("年代")){
							house.setYears(s+s1);
						}else if(s.contains("朝向")){
							house.setOrientation(s+s1);
						}else if(s.contains("楼层")){
							house.setFloor(s+s1);
						}else if(s.contains("结构")){
							house.setStructure(s+s1);
						}else if(s.contains("装修")){
							house.setRenovation(s+s1);
						}else if(s.contains("类别")){
							house.setResidCategory(s+s1);
						}else if(s.contains("产权")){
							house.setPropertyRight(s+s1);

						} 
						//System.out.println(s+s1);
					}
				}
			}
			Elements elementsByClass2 = elementsByClass.get(0).getElementsByTag("dt");
			for (int i = 0; i < elementsByClass2.size(); i++) {
				if(i==0){
					//总价
					elementsByClass2.get(i).getElementsByTag("a").remove();
					//System.out.println(elementsByClass2.get(i).select("span").html());
					house.setFinalPrice(elementsByClass2.get(i).select("span").html());
				}else if(i==1){
					elementsByClass2.get(i).getElementsByTag("a").last().remove();
					//System.out.println(elementsByClass2.get(i).select("span").html()+elementsByClass2.get(i).select("a").first().html());
					//楼盘名称
					house.setPropertyName(elementsByClass2.get(i).select("span").html()+elementsByClass2.get(i).select("a").first().html());
					elementsByClass2.get(i).select("a").first().remove();
					//
					//System.out.println(elementsByClass2.get(i).select("a").html());
					house.setAddress(elementsByClass2.get(i).select("a").html());
				}else  if(i==2){
					//System.out.println(elementsByClass2.get(i).select("span").html());
					house.setSuppFacil(elementsByClass2.get(i).select("span").html());
				}

			}
			Element elementById = html.getElementById("hsPro-pos");
			 Elements elementsByTag2 = elementById.getElementsByTag("div");
			 elementsByTag2.last().remove();
			if(elementById.select("div").hasAttr("style")){
				//描述System.out.println(elementById.select("div").last().html());
				house.setDescribe(elementById.select("div").last().html());
			}
			Element elementById2 = html.getElementById("hsMap-pos");
			Elements elementsByTag = elementById2.getElementsByTag("p");
			for (int i = 0; i < elementsByTag.size(); i++) {
				if(i==0){
					//更详细地址
					elementsByTag.get(i).getElementsByClass("pad127").remove();
					//System.out.println(elementsByTag.get(i).select("span").html());
					elementsByTag.get(i).select("span").remove();
					house.setAddress(house.getAddress()+"-"+elementsByTag.get(i).html());
					//System.out.println(elementsByTag.get(i).html());
				}else if(i==1){
					//交通状况System.out.println(elementsByTag.get(i).select("span").html());
					elementsByTag.get(i).select("span").remove();
					//System.out.println(elementsByTag.get(i).html());
					house.setTraffic(elementsByTag.get(i).html());
				}
			}
			SimpleDateFormat  si=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
			house.setClimbingTime(si.format(new Date()));
			/**
			 * 小区信息的获取

			 */
			Element elementById3 = html.getElementById("hsmPro-pos");
			Elements elementsByClass3 = elementById3.getElementsByTag("dl");
			for (int i = 0; i <elementsByClass3.size(); i++) {
				if(i==0){
					Elements elementsByTag3 = elementsByClass3.get(i).getElementsByTag("dt");
					comm.setPropertyInfoUrl(elementsByTag3.get(0).select("a").attr("href"));
					//System.out.println(elementsByTag3.get(0).select("a").attr("href"));
					elementsByTag3.get(0).select("a").remove();
					String s=elementsByTag3.get(0).select("span").html();
					elementsByTag3.get(0).select("span").remove();
					//System.err.println(s+elementsByTag3.get(0).html().replaceAll("&nbsp;", ""));
					comm.setPropertyName(s+elementsByTag3.get(0).html().replaceAll("&nbsp;", ""));
					Elements elementsByTag4 = elementsByClass3.get(i).getElementsByTag("dd");
					for (Element element : elementsByTag4) {
						String html2 = element.select("span").html();
						element.select("span").remove();
						String html4 = element.select("a").html();
						element.select("a").remove();

						String html3 = element.html();
						//System.out.println(html2+html4+html3);
						if(html2.contains("二手房")){
							comm.setSecondHandHousing(html2+html4+html3);
						}else if(html2.contains("租房")){
							comm.setRental(html2+html4+html3);
						}else if(html2.contains("物业类型")){
							comm.setPropertyType(html2+html4+html3);
						}else if(html2.contains("绿化率")){
							comm.setGreeningRate(html2+html4+html3);
						}else if(html2.contains("物业费")){
							comm.setPropertyFee(html2+html4+html3);
						}else if(html2.contains("物业公司")){
							comm.setPropertyCompany(html2+html4+html3);
						}else if(html2.contains("开发商")){
							comm.setDevelopers(html2+html4+html3);
						}
					}
				}else if(i==1){
					Elements elementsByTag4 = elementsByClass3.get(i).getElementsByTag("dt");
					String html2 = elementsByTag4.select("span").html();
					elementsByTag4.select("span").remove();

					elementsByTag4.select("a").remove();
					//System.out.println(html2+elementsByTag4.html());
					comm.setAveragePrice(html2+elementsByTag4.html());
					Elements elementsByTag5 = elementsByClass3.get(i).getElementsByTag("dd");
					for (Element element : elementsByTag5) {
						String html3 = element.getElementsByTag("span").last().html();
						element.select("span").remove();
						//System.out.println(element.html()+html3);
						if(element.html().contains("环比上月")){
							comm.setThanLastMonth(element.html()+html3);
						}else if(element.html().contains("同比去年")){
							comm.setYearOverYear(element.html()+html3);
						}
					}
				}
			}
			/**
			 * 进行联系人的相关信息获取
			 */

			Elements elementsByClass4 = html.getElementsByClass("leftBox");
			Elements elementsByTag3 = elementsByClass4.get(5).getElementsByTag("dl");
			if(elementsByTag3.size()>0){
				Elements elementsByTag4 = elementsByTag3.get(0).getElementsByTag("dd");
				for (Element element : elementsByTag4) {
					String html2 = element.select("span").html();
					element.select("span").remove();
					if(element.html().contains("好评率")){
						contact.setRateOfPraise(element.html()+html2);
					}else if(element.html().contains("真实度")){
						contact.setTruthDegree(element.html()+html2);
					}else if(element.html().contains("满意度")){
						contact.setSatisDegree(element.html()+html2);
					}else if(element.html().contains("专业度")){
						contact.setProfessDegree(element.html()+html2);
					}
					
					System.out.println(element.html()+html2);
				}
			}
			

			
			if(elementsByTag3.size()>=2){
				Element element = elementsByTag3.get(1);
				Elements elementsByTag5 = element.getElementsByTag("img");
				if(null!=elementsByTag3.get(1).select("a").last().html()){
					contact.setName(elementsByTag3.get(1).select("a").last().html()!=null?elementsByTag3.get(1).select("a").last().html():"");
				}
				
				contact.setDetailedInfoUrl(ClimbingModel.URL_FangTianxia+elementsByTag3.get(1).select("a").last().html());
				contact.setPhotoUrl(elementsByTag5.get(0).attr("src"));
			}

			sumarModel.setHouseInfo(house);
			sumarModel.setComm(comm);
			sumarModel.setContactsInfo(contact);
			//System.out.println(contact);
		}else{
			System.out.println("未知错误!无法获取信息");
			
		}
		return sumarModel;
	}

运行结果：

SummaryModel [comm=CommunityInfo [propertyInfoUrl=http://sijihuayuanjq.fang.com/, propertyName=楼盘名称：金桥四季花园( 城南 电子城 ) , secondHandHousing=null, rental=null, propertyType=物业类型：住宅, greeningRate=null, propertyFee=null, propertyCompany=物业公司：鸿兴物业, developers=null, averagePrice=金桥四季花园本月均价：

6244元/平方米, thanLastMonth=环比上月：↓1.17%, yearOverYear=同比去年：↑3.76%], contactsInfo=ContactsInfo [name=张鹏云, rateOfPraise=好评率：0%, truthDegree=真实度：, satisDegree=满意度：, professDegree=专业度：, phone=null, detailedInfoUrl=http://esf.xian.fang.com/张鹏云, photoUrl=http://img1.soufunimg.com/usercenter/2016_06/12/10/avatar/120_164661735_0.jpg], houseInfo=HouseInfo [title=拎包入住 南北通透 大3居 中等楼层 惊爆价出售！，西安城南电子城金桥四季花园二手房三室 - 房天下, finalPrice=88

万, referPay=参考首付：

26.4万, referMonth=null, apartmentLayout=户型：3室2厅2厨2卫, buildMeasureOfArea=建筑面积：138㎡, useMeasureOfArea=null, years=年代：2004年, orientation=朝向：南北, floor=楼层：中层(共12层), structure=null, renovation=装修：精装修, residCategory=建筑类别：板楼, architCategory=null, propertyRight=产权性质：个人产权, propertyName=楼盘名称：金桥四季花园, suppFacil=配套设施：

水,煤气/天然气, describe=自我介绍：房天下张鹏云将竭诚为您服务！

<br />户型介绍：核心卖点：1、户型南北朝向，客厅落地阳台，主卧景观飘窗，面朝小区，景观好，采光好，位置安静;

<br />2、装修房东装修准备自己用的房子，不用再次装修,特别省心;

<br />3、产权70年全产权有证房，有证可按揭，交易全程专业律师及金融专员追踪，让您放心购房，可随时签约过户、可办银行按揭贷款;

<br />小区介绍：4、房子精装修3居1梯2户采光特别好

<br />其他：房源优势

<br />证满两年，全明结构，业主急卖，价格实惠;

<br />核心卖点：电子城精装三室88万南北通透中间楼层急售, phone=null, persionName=null, address=城南

电子城-电子城步行街南800米, traffic=南山门站：204、225、506、 526、 706、 716, houserFromUrl=http://esf.xian.fang.com//chushou/3_153359421.htm, updateTime=房天下自营

1分钟前更新, climbingTime=2016-12-26 10:44:52], searchCriteri=null, nextUrl=null, count=null]

http://esf.xian.fang.com//chushou/3_153467676.htm;http://esf.xian.fang.com//a/gqt1511>>1分钟前更新


程序写的比较粗糙，见谅~


yjaspire
关注
专栏目录
爬取链家数据
TaLAng321的博客
11-18 459
爬取链家数据
Java实现爬取往期所有双色球开奖结果功能示例
08-27
Java爬取技术的应用非常广泛，除了爬取开奖结果外，还可以用于爬取其他类型的数据，例如新闻、商品信息、社交媒体数据等。因此，掌握Java爬取技术对于IT从业者来说非常重要。 在学习Java爬取技术时，需要了解Java的...
Java抓取网页数据Demo
08-26
Java抓取网页数据的两种方法：（1）抓取原网页 （2）抓取网页JS返回数据
使用Java爬虫：高效提取网页数据的实用方法和技巧
最新发布
apiok的博客
07-10 399
本文介绍了使用Java进行爬虫开发的方法与技巧，并提供了使用Jsoup进行网页数据抓取的具体代码示例。同时，开发者在进行爬虫开发时，应该遵守相关法律法规，合法使用爬虫技术。随着互联网的发展，海量的信息被存储在网页中，人们想要从中获取有用的数据变得越来越困难。而使用爬虫技术，我们可以快速、自动地抓取网页数据，提取出我们需要的有用信息。爬虫任务通常是IO密集型的，因此使用多线程可以充分利用CPU资源，提高爬虫效率。当爬虫抓取到需要的数据后，我们通常需要将数据持久化存储，以便后续的分析和使用。
Java基础:爬虫
weixin_65752158的博客
07-04 1694
Pattern:表示正则表达式Matcher:文本匹配器，作用按照正则表达式的规则去读取字符串，从头开始读取。在大串中去找符合匹配规则的子串。通过Pattern p = Pattern.compile("正则表达式");获得 通过Matcher m = p.matcher(str);获得 (m要在str中找符合p规则的小串)其中, m为Matcher对象, p为正则表达式规则, str为要验证的字符串. boolean b = m.find(); 表示拿着文本匹配器从头开始读取，寻找是否有
java爬虫如何抓取网页数据
Ob2024的博客
06-28 1181
1、发送HTTP请求： 使用Java的HTTP库（如 HttpURLConnection、Apache HttpClient 或 OkHttp）发送GET或POST请求到目标网站，获取网页的HTML内容。这只是一个简单的示例，实际的爬虫程序可能需要更多的处理和优化，具体取决于目标网站的结构和需求。4、处理页面跳转： 如果网页中包含链接，需要处理页面跳转，递归地获取更多页面的信息。5、处理反爬虫机制： 有些网站采取反爬虫策略，可能需要处理验证码、模拟用户行为、使用代理IP等方法来规避这些机制。
高效的Java爬虫实战：网页数据抓取技巧分享
G171104的博客
06-25 1041
本文介绍了Java爬虫的基本原理，并通过具体代码示例展示了如何使用Java编写高效的网页爬虫。在实际应用中，还需要注意合法使用爬虫，尊重网站的隐私政策和服务条款，以免引起法律纠纷。为了解决这个问题，人们开发了各种爬虫工具，其中Java爬虫是最常用的之一。首先，我们需要使用Java的网络编程库发送HTTP请求来获取网页的内容。网页爬虫的基本原理是通过模拟浏览器发送HTTP请求，然后解析网页并提取所需的数据。为了实践爬虫的开发过程，我们选择了抓取豆瓣电影排行榜的数据作为示例。二、爬虫开发环境搭建。
利用java定时爬取网页数据
11-11
本主题聚焦于“利用Java定时爬取网页数据”，这是一个典型的数据抓取和任务调度的场景，对于数据分析、信息监控或者网站维护都有很大的实用价值。 首先，我们需要理解爬虫的基本原理。网页爬虫是一种自动提取网页...
java爬取各大平台价格
02-28
总结来说，这个项目展示了如何利用Java结合各种库来实现跨平台的价格爬取，并对数据进行处理。在实际应用中，还需要注意遵守网站的robots.txt协议，处理可能出现的反爬策略，以及合法、高效地抓取和使用数据。
1.（地图数据篇）天地图瓦片数据爬取--java代码.zip
07-22
【标题】：“1.（地图数据篇）天地图瓦片数据爬取--java代码.zip” 涉及的知识点主要集中在地图数据的获取以及Java编程技术上，特别是网络爬虫在处理地图瓦片数据时的应用。 【地图瓦片数据】： 地图瓦片是一种将...
JAVA+jsoup爬取某房产网房源信息
03-20
【JAVA+jsoup爬取某房产网房源信息】 在信息技术高度发达的今天，网络数据的获取成为了一项重要的技能。Java结合Jsoup库为开发者提供了一种高效、易用的网页抓取解决方案，尤其适用于处理HTML结构化的网页数据。本...
基于scrapy的房天下房价的爬取与分析.rar
06-04
基于scrapy的房天下房价的爬取与分析.rar
搜房网源码
10-24
搜房网源码 基于ElasticSearch的搜房网实战 非常好的资源 对于初学者
二手房网站整站打包备份源码
04-12
原有整站二手房网站，服务器到期前整站打包备份资源，分享给各位
java爬取网页内容入门
Blank的博客
11-22 436
介绍 jsoup 是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 准备工作 创建一个java的项目，这里我采用的是Maven项目，首先导入所需要的依赖包jsoup <!-- https://mvnrepository.com/artifact/org.jsou...
爬取地区房价信息
xiaohaha2018的博客
09-12 1308
library(rvest) 从安居客获取济南历城区的二手房房价：（提取top100页） url = 'https://jinan.anjuke.com/sale/licheng/p3/#filtersort' 编写获取信息函数：在售名称，房价，单价，小区信息 info_fun = function(url){      web = read_html(url, encoding = 'U...
本人自己仿房天下做个网站，现在把源码开源，供大家指点改进学习
shouji1599563的博客
08-30 190
我做了一个太仓房产网，点击太仓房产网这几个字下载 欢迎高手过来指导
python分布式(scrapy-redis)实现对房天下全国二手房与新房的信息爬取(偏小白,有源码有分析)
qq_39915318的博客
06-10 7434
偏小白向的python分布式爬取房天下全国二手房与新房信息，json30Mb+ redis数据库数据40W+，有详细分析过程，注释多(‾◡◝)
java爬取网页数据
02-06
可以使用 Java 的网络编程库（如 java.net 包中的 URL 类）来爬取网页数据。首先，你需要打开一个 URL 连接，然后使用类似于输入流的方式来读取网页的 HTML 源代码。 例如，你可以使用以下代码来爬取一个网页的 HTML 源代码： ``` URL url = new URL("http://www.example.com"); InputStream inputStream = url.openStream(); BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream)); String line; while ((line = reader.readLine()) != null) { // 处理网页源代码 } reader.close(); ``` 你还可以使用第三方库，如 Apache HttpClient 或者 JSoup 来更方便地爬取网页数据。 此外，请注意遵守网站的服务条款，并尽量减少对网站的负载。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值