毕业设计简述

最新推荐文章于 2021-07-03 11:20:36 发布

保乌罗

最新推荐文章于 2021-07-03 11:20:36 发布

阅读量875

点赞数

分类专栏：毕业设计

本文链接：https://blog.csdn.net/u010395522/article/details/8895151

版权

毕业设计专栏收录该内容

1 篇文章 0 订阅

订阅专栏

鉴于京东淘宝的前端设计禁止爬虫的抓取，准备制作一个非常缩水的系统来应付毕业，老天保佑后添加的中文分词器不捅娄子。

先简要列出系统操作流程，再详细分析每一步实现所需进行的工作。

我们的目的是找到电子商务网站上某商品的用户评价中，与我们输入的检测文档相似性最高的那条评价信息，以此来识别出某类用户。（我们假设刷评价的用户使用的评价语言都差不多，那我们输入一段标准刷评价评论，系统就能够找到目前商品中与该评论的说话方式类似的一条评价，以此来识别出”骗子“）所以系统需要两类信息，一个是系统外输入进去的”检测文档“，另一个是电商网站上的”评论信息“。问题的关键是获取某商品的所有”评论信息“。

困难出现了。按照老师的设想，用户只需要提交想要分析的网站顶级url即可，比如www.jd.com而无需自己寻找到某个特定商品的url，以此来分析京东所有的商品。但是京东的网站采用的是AJAX？（ajax能够完全避开nutch爬虫的抓取，每一页商品的评价信息都是在用户点击页码按钮之后，服务器推送过来，但是进入新页面之后浏览器中该页面的url不变。所有的评论都是#comments形式存在，这样nutch是无法抓取到页面信息，也就无法进行后续查询。）无奈只好利用京东网站上url的规律来依次生成每一页商品评价的url，以此获取信息。也就是说，最终的毕设只分析一个商品，而不是京东网站上所有的商品。

为了得到某个商品的评论，首先要确定的是我们要分析哪个商品

用户提交要抓取的商品评价URL，例如某一个乐扣保鲜盒：http://club.jd.com/review/560573-0-1-0.html

好，现在该商品的所有评论信息我们都能定位了，我们下一步需要将网页html语言写就的商品评论信息从标签和其他干扰信息中解放出来，获取纯粹的商品评论。比较好的解决方法便是将这些信息导入数据库中。

分析一下，我们需要如下几个数据库：

商品，Product（product_id,product_name,product_url）

用户，User（user_id,user_name,user_role,user_url） user_role是会员级别，级别文字有该链接 http://help.360buy.com/help/question-57.html

用户评论，Discussion（discuss_id,discuss_content,discuss_url,product_id,user_id,purchase_date）由商品id和用户id共同确定一个discussion，这里有评价的具体内容

得到discuss_content之后，使用MoreLikeThis算法找到与测试文档相似的discuss_content（及其对应的用户）

下面我们要做的是，如何得到这三个关键的数据库信息。

对于Product，product_id是最容易获取的信息，在该链接中http://club.jd.com/review/560573-0-1-0.html 560573即为这个保鲜盒的product_id。原理如老师的代码中Environment.parseProjName()方法

//从Url中获得该网页所属项目
	  public static String parseProjName(String url){
		  int inameStart = url.indexOf("//"); 
		  int inameMid = url.indexOf(".", inameStart+2);
		  int inameEnd = url.indexOf(".", inameMid+1);
		  
		  if ((inameStart < inameMid)&&(inameMid<inameEnd)){
			 if (url.substring(inameMid+1,inameEnd).equalsIgnoreCase("codeplex")){
				//如果该url的第二个单词是codeplex，说明该网页来自codeplex，此时第一个单词为项目名
				return url.substring(inameStart+2, inameMid).trim().toLowerCase();
			 }
			 else
				 return null;
		  }
		  else
			  return null;
	  }

todotask-1 parseProd ID(string url);

http://club.jd.com/review/560573-0-1-0.html中截取"review/"与”-0“之前的”560573“，即为product_id。（product_name似乎意义不大，暂时搁置）

product_url也需要进行拼凑产生，例如：http://item.jd.com/560573.html有了product_id之后，该url比较容易产生。（是否进一步获取该商品名？比如”乐扣乐扣礼盒装2件套LLG214S001“）

对于User数据库各信息的获取，参考以下代码。

按照老师代码的思想，我们的处理流程是这样的：输入项目名称（product_id），用标准分析器分析一下“url”文件找到评价页面（代码中为讨论页面hits），在这个页面中找到“金牌会员”等role的位置，利用外链todotask-2 找到user的信息

对该链接进行分析http://club.jd.com/userreview/27276113-1-1.html，27276113即为user_id，该url即为user_url。而user_name，user_role问题与Product中商品名问题一样待确认。而user_url是抓取到的页面代码中有的url，可以获取到。

public static boolean ParaseProjUser(String proj_name,int proj_id) {   
      try {
    	  QueryParser queryParser = new QueryParser("url", new StandardAnalyzer());  
    	  Query query = queryParser.parse(proj_name+" AND team AND view");    //此处的team和view应该换为“club review？！”（京东全部商品评价的第37页url： http://club.jd.com/review/560573-0-37-0.html）
    	  Hits hits = searcher.search(query);  
    	  if (hits.length()>0) {   
    		  Document doc = hits.doc(0);   
              HitDetails detail = new HitDetails(doc.getField("segment").stringValue(),doc.getField("url").stringValue());
              String pagecontent = segments.getParseText(detail).getText();//得到内容
             
              int iCoordinators = pagecontent.indexOf("Coordinators");//这些东西对应到我们系统里都是商品的买家卖家，无特别意义
              int iDevelopers = pagecontent.indexOf("Developers");
              int iEditors = pagecontent.indexOf("Editors");
              int iFollower = pagecontent.indexOf("Follower");
              
              Outlink[] outlink=segments.getParseData(detail).getOutlinks();//是否要识别出“金牌银牌会员”等待定，似乎有一定困难
              for(int j=0; j<outlink.length;j++){
            	//System.out.println(outlink[j].getToUrl()+":"+outlink[j].getAnchor());
            	  String usrname = outlink[j].getAnchor();
            	  if (outlink[j].getToUrl().indexOf("site/users/view")>0){
            		  Fields fd = new Fields();
            		  fd.add("user_name", usrname);
            		  fd.add("user_url", outlink[j].getToUrl());
            		  User usr = new User(fd);
            		  Fields fd1 = new Fields();
            		  fd1.add("user_id", usr.getUserID());
            		  fd1.add("proj_id", proj_id);
            		  int iusrname = pagecontent.indexOf(usrname);
            		  if ((iusrname>iCoordinators)&&(iusrname<iDevelopers))
            			  fd1.add("part_role", "Coordinators");
            		  else if (iusrname<iEditors)
            			  fd1.add("part_role", "Developers");
            		  else if (iusrname<iFollower)
            			  fd1.add("part_role", "Editors");
            		  else
            			  fd1.add("part_role", "Followers");
            		  Participant part = new Participant(fd1);
            	  }
              }//end for j
              return true;
    	  }//end if
    	  else 
    		  return false;
      }//end try 
      catch (Exception ex) {
          ex.printStackTrace();
          return false;
      }//end catch
    }//end ParaseProjuser

对于Discussion（discuss_id,discuss_content,discuss_url,product_id,user_id,purchase_date）问题较多。

discuss_id,尚未想好是否需要此字段

discuss_content,问题的关键，建立此数据库的主要目的为获取该信息。

discuss_url,例子比如：http://club.jd.com/repay/560573_fd4854bb-691f-4ac3-a1e8-1a0554201952_1.html 此链接中含有商品id，但url规律很难识别，此url无法通过拼凑方式产生。但是该url在页面呈现形式是日期，也就是锚文本。是否可以利用锚文本获得url？与user数据库的建立问题一直，即Outlink问题，需要研究。

product_id,该信息可以从product数据库中获取

user_id,同样可以获取到

purchase_date，为discuss的url中的锚文本，目前也存在这个问题，即页面上的信息是否能定点抓取到？

对于content，参考老师的代码 ParaseProjDisc(Document doc)啊该代码部分示例如下，原文较长属于nutchparsediscuss类

//下面的代码插入一个讨论序列
    	            			  fd3 = new Fields();
    	            			  fd3.add("disc_id", disc.getDiscID());
    	            			  fd3.add("user_id", userid);
    	            			  fd3.add("discpart_seq", discseq);
    	            			  if(endIndex>beginIndex) 
    	            				  strcontent=pagecontent.substring(beginIndex, endIndex);
    	            			  else
    	            				  strcontent="";
    	            			  if (strcontent.length()>9999)
    	            				  strcontent = strcontent.substring(1, 9999);
    	            			  //strcontent=strcontent.replaceAll("[\\\"\']", " ");
    	            			  fd3.add("discpart_content", strcontent);
    	            			  //System.out.println(pagecontent.substring(timebeginIndex, beginIndex));
    	            			  latestdate=Enviroment.DiscussDate(new String(pagecontent.substring(timebeginIndex, beginIndex).getBytes(),"UTF-8"),latestdate);
    	            			  fd3.add("discpart_date", latestdate);
    	            			  DiscPart dscp = new DiscPart(fd3,true);
    	            			  discseq++;
    	            			//上面的的代码插入一个讨论序列

获取完所有的数据库之后，对discuss进行索引（content部分），详见indexDiscussion

int totalrows = ExecuteStmt.Gettablerows("discpart");
			System.out.println("开始生成Discussion的索引，开始于："+Enviroment.GetSystemDateTime());
			System.out.println(totalrows);
			
			for (int i=0;i<=totalrows/1000;i++){
				fds = ExecuteStmt.getResultset("Select * from discpart limit "+i*1000+","+(i+1)*1000+";");//sql limit 如果给定两个参数，第一个参数指定第一个返回记录行的偏移量，第二个参数指定返回记录行的最大数目。初 始记录行的偏移量是 0(而不是 1)
				for(int j=0;j<1000;j++){
					Document doc = new Document();
					// Field Text(String name, String value, boolean storeTermVector)
					doc.add(new Field("discpart_id",String.valueOf(fds[j].getValuebyName("discpart_id")),Field.Store.YES, Field.Index.NO));
					doc.add(new Field("disc_id",String.valueOf(fds[j].getValuebyName("disc_id")),Field.Store.YES, Field.Index.NO));
					doc.add(new Field("user_id",String.valueOf(fds[j].getValuebyName("user_id")),Field.Store.YES, Field.Index.NO));
					doc.add(new Field("discpart_seq",String.valueOf(fds[j].getValuebyName("discpart_seq")),Field.Store.YES, Field.Index.NO));
					doc.add(new Field("discpart_date",String.valueOf(fds[j].getValuebyName("discpart_date")),Field.Store.YES, Field.Index.NO));
					doc.add(new Field("discpart_content",String.valueOf(fds[j].getValuebyName("discpart_content")),Field.Store.YES, Field.Index.ANALYZED,Field.TermVector.YES));
					
					writer.addDocument(doc);
				}//end for j

到此处，基本工作已经完毕，只剩下输入测试文档来寻找相似评价了。

问题多多唉