【实例简介】
java实现搜索引擎代码+页面爬虫 也是网上找的,分享下赚点分,顺便说下写的不错!
【实例截图】
【核心代码】
230c79c0-5bbb-41d7-aff7-9f52d486fc64
└── 搜索引擎代码+页面爬虫
└── test
├── build
│ └── classes
│ ├── ceshi
│ │ └── Test.class
│ ├── configure
│ │ └── Configuration.class
│ ├── configure.properties
│ ├── core
│ │ ├── preprocess
│ │ │ ├── DictReader.class
│ │ │ ├── DictSegment.class
│ │ │ ├── forwardIndex
│ │ │ │ └── ForwardIndex.class
│ │ │ ├── index
│ │ │ │ ├── originalPageGetter.class
│ │ │ │ └── RawsAnalyzer.class
│ │ │ └── invertedIndex
│ │ │ └── InvertedIndex.class
│ │ ├── query
│ │ │ └── Response.class
│ │ ├── spider
│ │ │ ├── Dispatcher.class
│ │ │ ├── Gather.class
│ │ │ ├── Spider.class
│ │ │ ├── URLClient.class
│ │ │ └── WebAnalyzer.class
│ │ └── util
│ │ ├── DBConnection.class
│ │ ├── HtmlParser.class
│ │ ├── MD5.class
│ │ ├── Page.class
│ │ ├── Result.class
│ │ ├── ResultGenerator.class
│ │ └── StopWordsMerger.class
│ ├── Dictionary
│ │ ├── stopWord.txt
│ │ └── wordlist.txt
│ ├── mysql-connector-java-5.1.7-bin.jar
│ ├── Raws
│ │ ├── RAW__0.txt
│ │ ├── RAW__1.txt
│ │ ├── RAW__2.txt
│ │ ├── RAW__3.txt
│ │ └── RAW__4.txt
│ └── test
│ ├── testDBConnection.class
│ ├── testDictSegment.class
│ ├── testMySql.class
│ ├── testOffset.class
│ ├── testParseHtml.class
│ ├── testRawsAnalyzer.class
│ ├── testSougouOffset.class
│ ├── testStringTokenizer.class
│ ├── testSubFile.class
│ └── testSubString.class
├── src
│ ├── ceshi
│ │ └── Test.java
│ ├── configure
│ │ └── Configuration.java
│ ├── configure.properties
│ ├── core
│ │ ├── preprocess
│ │ │ ├── DictReader.java
│ │ │ ├── DictSegment.java
│ │ │ ├── forwardIndex
│ │ │ │ └── ForwardIndex.java
│ │ │ ├── index
│ │ │ │ ├── originalPageGetter.java
│ │ │ │ └── RawsAnalyzer.java
│ │ │ └── invertedIndex
│ │ │ └── InvertedIndex.java
│ │ ├── query
│ │ │ └── Response.java
│ │ ├── spider
│ │ │ ├── Dispatcher.java
│ │ │ ├── Gather.java
│ │ │ ├── Spider.java
│ │ │ ├── URLClient.java
│ │ │ └── WebAnalyzer.java
│ │ └── util
│ │ ├── DBConnection.java
│ │ ├── HtmlParser.java
│ │ ├── MD5.java
│ │ ├── Page.java
│ │ ├── ResultGenerator.java
│ │ ├── Result.java
│ │ └── StopWordsMerger.java
│ ├── Dictionary
│ │ ├── stopWord.txt
│ │ └── wordlist.txt
│ ├── lib
│ │ └── mysql-connector-java-5.1.7-bin.jar
│ ├── Raws
│ │ ├── RAW__0.txt
│ │ ├── RAW__1.txt
│ │ ├── RAW__2.txt
│ │ ├── RAW__3.txt
│ │ └── RAW__4.txt
│ └── test
│ ├── testDBConnection.java
│ ├── testDictSegment.java
│ ├── testMySql.java
│ ├── testOffset.java
│ ├── testParseHtml.java
│ ├── testRawsAnalyzer.java
│ ├── testSougouOffset.java
│ ├── testStringTokenizer.java
│ ├── testSubFile.java
│ └── testSubString.java
└── WebContent
├── dySE-logo.jpg
├── index.jsp
├── META-INF
│ └── MANIFEST.MF
├── NewFile.html
├── search.jsp
├── Thumbs.db
└── WEB-INF
├── classes
│ ├── configure
│ │ └── Configuration.class
│ ├── configure.properties
│ ├── core
│ │ ├── preprocess
│ │ │ ├── DictReader.class
│ │ │ ├── DictSegment.class
│ │ │ ├── forwardIndex
│ │ │ │ └── ForwardIndex.class
│ │ │ ├── index
│ │ │ │ ├── originalPageGetter.class
│ │ │ │ └── RawsAnalyzer.class
│ │ │ └── invertedIndex
│ │ │ └── InvertedIndex.class
│ │ ├── query
│ │ │ └── Response.class
│ │ ├── spider
│ │ │ ├── Dispatcher.class
│ │ │ ├── Gather.class
│ │ │ ├── Spider.class
│ │ │ ├── URLClient.class
│ │ │ └── WebAnalyzer.class
│ │ └── util
│ │ ├── DBConnection.class
│ │ ├── HtmlParser.class
│ │ ├── MD5.class
│ │ ├── Page.class
│ │ ├── Result.class
│ │ ├── ResultGenerator.class
│ │ └── StopWordsMerger.class
│ └── test
│ ├── testDBConnection.class
│ ├── testDictSegment.class
│ ├── testMySql.class
│ ├── testOffset.class
│ ├── testParseHtml.class
│ ├── testRawsAnalyzer.class
│ ├── testSougouOffset.class
│ ├── testStringTokenizer.class
│ ├── testSubFile.class
│ └── testSubString.class
└── web.xml
46 directories, 118 files