抓取网站全站信息，并导出数据为EXCEL

最新推荐文章于 2018-06-05 17:51:59 发布
最新推荐文章于 2018-06-05 17:51:59 发布
阅读量505 收藏
点赞数
分类专栏： java算法 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiangjinqi/article/details/84084955
版权

现在以https://www.mann-hummel.com/mf_prodkata_china/index.html?ktlg_page=1&ktlg_lang=16&ktlg_01_fzart=1为例

抓取这个站点的汽车信息

1、设置得到信息的的汽车对象类

package com.xiang;

import java.util.List;

public class CarInfo {
	
//	private String manufacturer;
//	private String serieliaze;
//	private String model;
//	private String enginCode;
//	private String kilowatt;
//	private String horsepower;
//	private String makeTime;
	
	List<String> car;

	public List<String> getCar() {
		return car;
	}

	public void setCar(List<String> car) {
		this.car = car;
	}
	
}

 2、设置目录的类（包括子目录与父目录的关系）

package com.xiang;

import java.util.List;

public class CategoryAnther {
	private String id;
	private String name;
	private List<CategoryAnther> categoryAnther;
	public String getId() {
		return id;
	}
	public void setId(String id) {
		this.id = id;
	}
	public String getName() {
		return name;
	}
	public void setName(String name) {
		this.name = name;
	}
	public List<CategoryAnther> getCategoryAnther() {
		return categoryAnther;
	}
	public void setCategoryAnther(List<CategoryAnther> categoryAnther) {
		this.categoryAnther = categoryAnther;
	}
	
}

 3、主程序抓取

package com.xiang;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.cyberneko.html.parsers.DOMParser;
import org.w3c.dom.Document;
import org.w3c.dom.Node;
import org.xml.sax.InputSource;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.HasAttributeFilter;
import org.htmlparser.tags.TableRow;
import org.htmlparser.tags.OptionTag;
import org.htmlparser.tags.TableColumn;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;

public class ExportInfo {
	/**
	 * @param args
	 **/
	public static void main(String[] args) {

		System.out.println("main start-----------"+new Date());
		// TODO Auto-generated method stub
		String url1 = "https://www.mann-hummel.com/mf_prodkata_china/index.html?ktlg_page=1&ktlg_lang=16&ktlg_01_fzart=1";
		String url2 = "https://www.mann-hummel.com/mf_prodkata_china/index.html?ktlg_page=1&ktlg_lang=16&ktlg_01_fzart=2";
		List<CategoryAnther> firstCategory = new ArrayList<CategoryAnther>();
//		List<CategoryAnther> secondCategory = new ArrayList<CategoryAnther>();
		
		firstCategory = addChildrenToList(url1);
		firstCategory.addAll(addChildrenToList(url2));
//		secondCategory = addChildrenToList(url2);
		List<CarInfo> carInfo = new ArrayList<CarInfo>();
		try{
		File f = new File("liufen.txt");
		if(!f.exists())
			f.createNewFile();
		FileWriter fw = new FileWriter(f,true);
//		readFileByLines("xiangqi.txt",fw);
		for(int i =0;i<firstCategory.size();i++){
			CategoryAnther categoryAnther = firstCategory.get(i);
			List<CategoryAnther> childrenCategory = categoryAnther.getCategoryAnther();
			for(int j=0;j<childrenCategory.size();j++){
				String _url = url1+"&ktlg_01_mrksl="+categoryAnther.getId()+"&ktlg_01_mdrsl="+childrenCategory.get(j).getId();
//				System.out.println(_url);
				//start analyze data by url
				carInfo.addAll(getDataByUrl(categoryAnther.getName(),childrenCategory.get(j).getName(),_url));
			}
		}
//		for(int i =0;i<secondCategory.size();i++){
//			CategoryAnther categoryAnther = secondCategory.get(i);
//			List<CategoryAnther> childrenCategory = categoryAnther.getCategoryAnther();
//			for(int j=0;j<childrenCategory.size();j++){
//				String _url = url2+"&ktlg_01_mrksl="+categoryAnther.getId()+"&ktlg_01_mdrsl="+childrenCategory.get(j).getId();
//				//start analyze data by url
//				carInfo.addAll(getDataByUrl(categoryAnther.getName(),childrenCategory.get(j).getName(),_url));
//			}
//		}
		fw.write("开始写入1------\r\n");
		for(int k=0;k<carInfo.size();k++){
			fw.write(carInfo.get(k).getCar().get(0)+"\r\n");
		}
		fw.write("开始写入2------\r\n");
		for(int k=0;k<carInfo.size();k++){
			fw.write(carInfo.get(k).getCar().get(1).replace("&#160;", " ")+"\r\n");
		}
		fw.write("开始写入3------\r\n");
		for(int k=0;k<carInfo.size();k++){
			fw.write(carInfo.get(k).getCar().get(2)+"\r\n");
		}
		fw.write("开始写入4------\r\n");
		for(int k=0;k<carInfo.size();k++){
			fw.write(carInfo.get(k).getCar().get(3)+"\r\n");
		}
		fw.write("开始写入5------\r\n");
		for(int k=0;k<carInfo.size();k++){
			fw.write(carInfo.get(k).getCar().get(4)+"\r\n");
		}
		fw.write("开始写入6------\r\n");
		for(int k=0;k<carInfo.size();k++){
			fw.write(carInfo.get(k).getCar().get(5)+"\r\n");
		}
		fw.write("开始写入7------\r\n");
		for(int k=0;k<carInfo.size();k++){
			fw.write(carInfo.get(k).getCar().get(6)+"\r\n");
		}
		fw.flush();
		fw.close();

		}catch(Exception e){
			e.printStackTrace();
		}
		System.out.println("main end-----------"+new Date());
	}
	
	public static String getHtmlByUrl(String url){
		int layouttime = 20000;
		String html ="";
		try {
			URL b = new URL(url);
			URLConnection urlConnection = b.openConnection();
			urlConnection.setReadTimeout(layouttime);
			InputStream inputStream = urlConnection.getInputStream();
			BufferedReader in = new BufferedReader(new InputStreamReader(inputStream, "gb2312"));
			String rString = null;
			while ((rString = in.readLine()) != null) {
				html+=rString;
			}
		}catch(Exception e){
			e.printStackTrace();
		}
			return html;
	}
	
	public static List<CarInfo> getDataByUrl(String firstName,String secondName,String url){
		System.out.println("getDataByUrl start-----------"+new Date());
		List<CarInfo> carInfoList = new ArrayList<CarInfo>();
		String html ="";
		html = getHtmlByUrl(url);
		    Parser parser = Parser.createParser(html, "gb2312");

	        NodeFilter nameFilter = new HasAttributeFilter("id",
	        		"rahmen");
	        NodeList list = null;
			try {
				list = parser.extractAllNodesThatMatch(nameFilter);
			} catch (ParserException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
//	        System.out.println("得到的行数的大小1："+list.toHtml());
	        NodeList tablelist= list.elementAt(0).getChildren();
//	        System.out.println("得到的行数的大小2："+tablelist.toHtml());
	        NodeList trlist= tablelist.elementAt(1).getChildren();
//	        System.out.println("得到的行数的大小3："+trlist.toHtml());
	        for(int i =6;i<trlist.size();i=i+2){
	        	List<String> trInfo = new ArrayList<String>();
	        	trInfo.add(firstName);
	        	trInfo.add(secondName);
	        	TableRow tableRow = (TableRow) trlist.elementAt(i);
	        	NodeList tdlist = tableRow.getChildren();
	        	for(int j =2;j<tdlist.size();j=j+3){
	        		TableColumn tableColumn = (TableColumn) tdlist.elementAt(j);
	        		NodeList alist = tableColumn.getChildren();
	        		LinkTag linkTag = null;
	        		if(j==2)
	        			linkTag = (LinkTag) alist.elementAt(1);
	        		else
	        			linkTag = (LinkTag) alist.elementAt(2);
	        		trInfo.add(linkTag.getLinkText());
//	        		System.out.print(linkTag.getLinkText()+"--");
	        	}
	        	CarInfo carInfo = new CarInfo();
	        	carInfo.setCar(trInfo);
	        	System.out.println(trInfo.get(0));
	        	carInfoList.add(carInfo);
	        }
		System.out.println("getDataByUrl end-----------"+new Date());
		return carInfoList;
	}
	
	public static List<CategoryAnther> addChildrenToList(String url){
		System.out.println("addChildrenToList start-----------"+new Date());
		List<CategoryAnther> firstCategrory = getFirstPageCategoryIds(url,"ktlg_01_mrksl");
		for (int i = 0; i < firstCategrory.size(); i++) {
			String _url = url + "&ktlg_01_mrksl=" + firstCategrory.get(i).getId();
			//对二级目录进行解析
			firstCategrory.get(i).setCategoryAnther(getFirstPageCategoryIds(_url,"ktlg_01_mdrsl"));
		}
		System.out.println("addChildrenToList end-----------"+new Date());
		return firstCategrory;
	}
	public static List<CategoryAnther> getFirstPageCategoryIds(String url,String nameValue) {
		System.out.println("getFirstPageCategoryIds start-----------"+new Date());
		List<CategoryAnther> categorys = new ArrayList<CategoryAnther>();
		String html ="";
		html = getHtmlByUrl(url);
		    Parser parser = Parser.createParser(html, "gb2312");

	        NodeFilter nameFilter = new HasAttributeFilter("name",
	        		nameValue);
	        NodeList list = null;
			try {
				list = parser.extractAllNodesThatMatch(nameFilter);
			} catch (ParserException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
	        NodeList optionList= list.elementAt(0).getChildren();
	        for(int i =1;i<optionList.size();i++){
	        	OptionTag option =  (OptionTag) optionList.elementAt(i);
	        	CategoryAnther categoryAnther = new CategoryAnther();
//	        	System.out.print(option.getAttribute("value")+"--");
//	        	System.out.println(option.getChildrenHTML());
	        	categoryAnther.setId(option.getAttribute("value"));
	        	categoryAnther.setName(option.getChildrenHTML());
	        	categorys.add(categoryAnther);
	        }
		System.out.println("getFirstPageCategoryIds end-----------"+new Date());
		return categorys;
	}
	 public static void readFileByLines(String fileName,FileWriter fw) {
	        File file = new File(fileName);
	        BufferedReader reader = null;
	        try {
	            System.out.println("以行为单位读取文件内容，一次读一整行：");
	            reader = new BufferedReader(new FileReader(file));
	            String tempString = null;
	            int line = 1;
	            // 一次读入一行，直到读入null为文件结束
	            while ((tempString = reader.readLine()) != null) {
	                // 显示行号
	            	if(tempString.trim().equals(""))
	            		fw.write(tempString+"\r\n");
	            	else if(tempString.indexOf("-")>-1)
	                	fw.write(tempString+"\r\n");
	                else
	                	fw.write(tempString+"→"+"\r\n");
	                	
	            }
	            reader.close();
	        } catch (IOException e) {
	            e.printStackTrace();
	        } finally {
	            if (reader != null) {
	                try {
	                    reader.close();
	                } catch (IOException e1) {
	                }
	            }
	        }
	    }
}

 不懂得call 13886053422      或QQ 526151410

下面附有项目文件。由于版权所有，设有密码。请向本人索要密码

xiangjinqi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Python】如何从一个网页上抓取数据并生成excel
wjianwei666的专栏
01-12 426
df = pd.DataFrame(data_list, columns=['列1', '列2', '列3']) # 替换为实际的列名。columns = row.find_all('td') # 假设每行的数据单元格使用 标签。整理数据： 将提取的数据整理成适合存储到 Excel 的数据结构，例如 Pandas 的 DataFrame。生成Excel文件： 使用 Pandas 将整理好的数据保存为 Excel 文件。你需要将 '你的目标网页URL' 替换为你要抓取数据的网页URL。
从网站上抓取数据至excel
08-01
selenium
Excel抓取网站内容
duck_arrow的专栏
12-26 4171
在浏览网页时，你一定会不时看到一些需要保存的数据信息。这些信息或许是一个完整的表格，或许是一段文字，如果要保存这类信息，我们常用的方法就是拖动鼠标，选中这些信息，然后用Ctrl＋C组合键复制文字，然后再保存到Word、Excel当中去。 　　这样的步骤算不上麻烦，但如果要求你在一个个内容丰富的大网页(比如新浪、网易、Sohu首页)中频繁地复制、粘贴，一定会让你感到疲劳和浪费时间。有什么好办法
需求网页信息采集器 58赶集 等网站信息导出 联系 QQ：15064157611
czz999的专栏
09-01 527
需求网页信息采集器 58赶集 等网站信息导出 联系 QQ：15064157611
浏览器扩展程序--抓取信息生成excel保存到本地
deideidei13的博客
06-05 1953
浏览器扩展程序需求：自动抓取页面的订单信息，把每个订单的信息整理为excel表格，并导出到电脑。思路：    1.建立数组存放订单信息var Users = new Array();//存放所有订单 var testUser={};        //存放每个订单的每条信息    2.获取数组，存入数组$('.open').each(function(i){     //.open是页面中需要打印...
全站仪导出数据步骤
07-23
全站仪导出步骤，适用于苏一光全站仪。方便，快捷，省心
路线横断面测量数据格式整理CSSD v5.0.zip
07-11
1、野外测量的横断面碎部点数据经过全站仪或者RTK导出成南方CASS点格式的dat文件后，可以先展入CAD中，而后根据自己需要增加或者删减无用点， 而后点击 表1 工具条中的“抓取图中点入表”按钮直接从CAD图中导入表1...
求点到曲线的最短距离 垂直逼近算法
热门推荐
追求专业
08-20 1万+
y = ln(x) + Math.pow(x,0.000333) + Math.exp(x*x) + x *x 求 （1,2）到该曲线的最短距离。很简单就是  Math.pow(（y - 2）*（y - 2） + (x-1)(x-1),0.5)   求最大值或求导无法求得此距离。或者是  (y-2)/(x-1)  * y' = -1   这个时候就需要利用算法来求得此距离。 这里引入垂直逼...
正则表达式提取特定字符串内的特定内容
追求专业
09-28 6232
我在@京东商城 发现了一个非常不错的商品：七彩云南 寿 熟饼357克，京东价：￥75.00。感觉不错，分享一下   譬如如果你想提取京东里一个页面的这个字符串，但是你有同时只想得到价格 那么正则表达式为：(?&lt;=(京东价：￥))(\d)+[.](\d){2}(?=[。](感觉不错)) (￥.*?。)提取的是价格的内容...
算法程序-通过log重现计算过程
追求专业
08-17 3870
核心算法类 public class ShopScorer extends BaseScorer { private static final Logger logger = Logger.getLogger(ShopScorer.class); private ShopProxy shopProxy; @Override public St...
价格弹性指数 价格与销量模型
追求专业
07-30 2713
在当今电子商务越来越热的情况下，价格战与利润是一个关键点，价格越低就会亏本，越高买的人越少，赚的钱不一定越高 价格与销量的关系逐渐的成为电子商务网站的要点， 利用这个关系可以对价格作出很好的改价，在价格的变动中必然有一点使得利润最大化。这一点就是电子商务追求的黄金点 如下是具体做法： 1、确定模型函数 2、拟合曲线，采用最小二乘法，R2平滑算法，离群点算法 等算法对各个点进行去噪拟合...
用递归算法查找父节点下的所有叶子节点
追求专业
09-13 2156
父节点 ----叶子节点 ----子节点一 ---------叶子节点 ---------叶子节点 ----子节点二 ---------子节点三 ----------------叶子节点 ----------------叶子节点 如何得到父节点 采用递归算法，碰到叶子节点就加到列表里，不是叶子节点就对其进行循环再递归遍历 /** * 向旗添加 * 实现将得到的目录...
商品名匹配算法
追求专业
12-17 1168
商品名组成为  品牌+型号（规格）+形容词（颜色）+商品简称+促销信息等等 将这些特殊信息可以分析为一个模型。即匹配算法模型 详细设计理念和模型及源代码见附件...
对URL非法字符进行转义
追求专业
03-15 608
url=“http://www.baidu.com?body={}” {}在某些情况下读取非法  这时需要将其转义    java.net.URLEncoder.encode("{")
如何用python抓取网页上导出为excel的数据
最新发布
03-21
可以使用 Python 的 requests 库和 pandas 库来抓取网页上导出为 Excel 的数据。具体步骤如下： 1. 使用 requests 库发送 GET 请求获取网页内容。 2. 使用 pandas 库的 read_html 函数将网页内容解析为 DataFrame...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值