自顶向下学搜索引擎——北大天网搜索引擎TSE分析及完全注释[5]倒排索引的建立及文件介绍

最新推荐文章于 2022-05-25 11:22:40 发布
最新推荐文章于 2022-05-25 11:22:40 发布
阅读量3.1k 收藏 3
点赞数
分类专栏： 搜索引擎研究 文章标签： 搜索引擎 文档 stylesheet vbscript url search
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jrckkyy/article/details/2614693
版权

author:http://hi.baidu.com/jrckkyy

author:http://blog.csdn.net/jrckkyy

不好意思让大家久等了，前一阵一直在忙考试，终于结束了。呵呵！废话不多说了下面我们开始吧！

TSE用的是将抓取回来的网页文档全部装入一个大文档，让后对这一个大文档内的数据整体统一的建索引，其中包含了几个步骤。

1.  The document index (Doc.idx) keeps information about each document.

It is a fixed width ISAM (Index sequential access mode) index, orderd by docID.

The information stored in each entry includes a pointer into the repository,

a document length, a document checksum.



//Doc.idx  文档编号	文档长度	checksum hash码

0	0	bc9ce846d7987c4534f53d423380ba70

1	76760	4f47a3cad91f7d35f4bb6b2a638420e5

2	141624	d019433008538f65329ae8e39b86026c

3	142350	5705b8f58110f9ad61b1321c52605795

//Doc.idx	end



  The url index (url.idx) is used to convert URLs into docIDs.



//url.idx

5c36868a9c5117eadbda747cbdb0725f	0

3272e136dd90263ee306a835c6c70d77	1

6b8601bb3bb9ab80f868d549b5c5a5f3	2

3f9eba99fa788954b5ff7f35a5db6e1f	3

//url.idx	end



It is a list of URL checksums with their corresponding docIDs and is sorted by

checksum. In order to find the docID of a particular URL, the URL's checksum

is computed and a binary search is performed on the checksums file to find its

docID.



	./DocIndex

		got Doc.idx, Url.idx, DocId2Url.idx	//Data文件夹中的Doc.idx DocId2Url.idx和Doc.idx中



//DocId2Url.idx

0	http://*.*.edu.cn/index.aspx

1	http://*.*.edu.cn/showcontent1.jsp?NewsID=118

2	http://*.*.edu.cn/0102.html

3	http://*.*.edu.cn/0103.html

//DocId2Url.idx	end



2.  sort Url.idx|uniq > Url.idx.sort_uniq	//Data文件夹中的Url.idx.sort_uniq



//Url.idx.sort_uniq

//对hash值进行排序

000bfdfd8b2dedd926b58ba00d40986b	1111

000c7e34b653b5135a2361c6818e48dc	1831

0019d12f438eec910a06a606f570fde8	366

0033f7c005ec776f67f496cd8bc4ae0d	2103



3. Segment document to terms, (with finding document according to the url)

	./DocSegment Tianwang.raw.2559638448		//Tianwang.raw.2559638448为爬回来的文件 ，每个页面包含http头

		got Tianwang.raw.2559638448.seg		



//Tianwang.raw.2559638448	爬取的原始网页文件在文档内部每一个文档之间应该是通过version，</html>和回车做标志位分割的

version: 1.0

url: http://***.105.138.175/Default2.asp?lang=gb

origin: http://***.105.138.175/

date: Fri, 23 May 2008 20:01:36 GMT

ip: 162.105.138.175

length: 38413



HTTP/1.1 200 OK

Server: Microsoft-IIS/5.0

Date: Fri, 23 May 2008 11:17:49 GMT

Connection: keep-alive

Connection: Keep-Alive

Content-Length: 38088

Content-Type: text/html; Charset=gb2312

Expires: Fri, 23 May 2008 11:17:49 GMT

Set-Cookie: ASPSESSIONIDSSTRDCAB=IMEOMBIAIPDFCKPAEDJFHOIH; path=/

Cache-control: private







<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"

"http://www.w3.org/TR/html4/loose.dtd">

<html>

<head>

<title>Apabi数字资源平台</title>

<meta http-equiv="Content-Type" content="text/html; charset=gb2312">

<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">

<META NAME="DESCRIPTION" CONTENT="数字图书馆 方正数字图书馆 电子图书 电子书 ebook e书 Apabi 数字资源平台">

<link rel="stylesheet" type="text/css" href="css/common.css">



<style type="text/css">

<!--

.style4 {color: #666666}

-->

</style>



<script LANGUAGE="vbscript">

...

</script>



<Script Language="javascript">

...

</Script>

</head>

<body leftmargin="0" topmargin="0">

</body>

</html>

//Tianwang.raw.2559638448	end



//Tianwang.raw.2559638448.seg	将每个页面分成一行如下(注意中间没有回车作为分隔)

1

...

...

...

2

...

...

...

//Tianwang.raw.2559638448.seg	end



//下是 Tiny search 非必须因素

4. Create forward index (docic-->termid)		//建立正向索引

	./CrtForwardIdx Tianwang.raw.2559638448.seg > moon.fidx



//Tianwang.raw.2559638448.seg 将每个页面分成一行如下
//分词   DocID
1
三星/  s/  手机/  论坛/  ,/  手机/  铃声/  下载/  ,/  手机/  图片/  下载/  ,/  手机/
2
...
...
...
//Tianwang.raw.2559638448.seg end


//moon.fidx

//每篇文档号对应文档内分出来的	分词	DocID

都会	2391

使	2391

那些	2391

拥有	2391

它	2391

的	2391

人	2391

的	2391

视野	2391

变	2391

窄	2391

在	2180

研究生部	2180

主页	2180

培养	2180

管理	2180

栏目	2180

下载	2180

）	2180

、	2180

关于	2180

做好	2180

年	2180

国家	2180

公派	2180

研究生	2180

项目	2180

//moon.fidx	end



5.# set | grep "LANG"

LANG=en; export LANG;

sort moon.fidx > moon.fidx.sort



6. Create inverted index (termid-->docid)	//建立倒排索引

	./CrtInvertedIdx moon.fidx.sort > sun.iidx



//sun.iidx	//文件规模大概减少1/2

花工	 236

花海	 2103

花卉	 1018 1061 1061 1061 1730 1730 1730 1730 1730 1852 949 949

花蕾	 447 447

花木	 1061

花呢	 1430

花期	 447 447 447 447 447 525

花钱	 174 236

花色	 1730 1730

花色品种	 1660

花生	 450 526

花式	 1428 1430 1430 1430

花纹	 1430 1430

花序	 447 447 447 447 447 450

花絮	 136 137

花芽	 450 450

//sun.iidx	end



TSESearch	CGI program for query

Snapshot	CGI program for page snapshot




author:http://hi.baidu.com/jrckkyy

author:http://blog.csdn.net/jrckkyy
Zda天天爱打卡
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
北大天网搜索引擎TSE源码
02-23
TSE(Tiny Search Engine) ======================= (Temporary) Web home: http://162.105.80.44/~yhf/Realcourse/ TSE is free utility for non-interactive download of files from the Web. It supports HTTP. According to query word or url, it retrieve results from crawled pages. It can follow links in HTML pages and create output files in Tianwang (http://e.pku.edu.cn/) format or ISAM format files. Additionally, it provies link structures which can be used to rebuild the web frame. --------------------------- Main functions in the TSE: 1) normal crawling, named SE, e.g: crawling all pages in PKU scope. and retrieve results from crawled pages according to query word or url, 2) crawling images and corresponding pages, named ImgSE. --------------------------- INSTALL: 1) execute "tar xvfz tse.XXX.gz" --------------------------- Before running the program, note Note: The program is default for normal crawling (SE). For ImgSE, you should: 1. change codes with the following requirements, 1) In "Page.cpp" file, find two same functions "CPage::IsFilterLink(string plink)" One is for ImgSE whose urls must include "tupian", "photo", "ttjstk", etc. the other is for normal crawling. For ImgSE, remember to comment the paragraph and choose right "CPage::IsFilterLink(string plink)". For SE, remember to open the paragraph and choose righ "CPage::IsFilterLink(string plink)". 2) In Http.cpp file i. find "if( iPage.m_sContentType.find("image") != string::npos )" Comment the right paragraph. 3) In Crawl.cpp file, i. "if( iPage.m_sContentType != "text/html" Comment the right paragraph. ii. find "if(file_length < 40)" Choose right one line. iii. find "iMD5.GenerateMD5( (unsigned char*)iPage.m_sContent.c_str(), iPage.m_sContent.length() )" Comment the right paragraph. iv. find "if (iUrl.IsImageUrl(strUrl))" Comment the right paragraph. 2.sh Clean; (Note not remove link4History.url, you should commnet "rm -f link4History.url" line first) secondly use "link4History.url" as a seed file. "link4History" is produced while normal crawling (SE). --------------------------- EXECUTION: execute "make clean; sh Clean;make". 1) for normal crawling and retrieving ./Tse -c tse_seed.img According to query word or url, retrieve results from crawled pages ./Tse -s 2) for ImgSE ./Tse -c tse_seed.img After moving Tianwang.raw.* data to secure place, execute ./Tse -c link4History.url --------------------------- Detail functions: 1) suporting multithreads crawling pages 2) persistent HTTP connection 3) DNS cache 4) IP block 5) filter unreachable hosts 6) parsing hyperlinks from crawled pages 7) recursively crawling pages h) Outputing Tianwang format or ISAM format files --------------------------- Files in the package Tse --- Tse execute file tse_unreachHost.list --- unreachable hosts according to PKU IP block tse_seed.pku --- PKU seeds tse_ipblock --- PKU IP block ... Directories in the package hlink,include,lib,stack,uri directories --- Parse links from a page --------------------------- Please report bugs in TSE to MAINTAINERS: YAN Hongfei * Created: YAN Hongfei, Network lab of Peking University. * Created: July 15 2003. version 0.1.1 * # Can crawl web pages with a process * Updated: Aug 20 2003. version 1.0.0 !!!! * # Can crawl web pages with multithreads * Updated: Nov 08 2003. version 1.0.1 * # more classes in the codes * Updated: Nov 16 2003. version 1.1.0 * # integrate a new version linkparser provided by XIE Han * # according to all MD5 values of pages content, * for all the pages not seen before, store a new page * Updated: Nov 21 2003. version 1.1.1 * # record all duplicate urls in terms of content MD5
天网搜索引擎tse源代码
04-20
天网搜索引擎tse源代码天网搜索引擎tse源代码
TSE网页存储、中文分词、倒排索引生成
CSDN
11-12 1954
TSE网页存储<br /> <br />根据驻留在内存里的set集合,取出没有爬取的网页连接,然后就去把它下载下来.<br />比如,下载了1000个网页,然后把这1000个HTML都放到一个文件里去,这个文件可能叫TianWang.raw.8415<br />意思就是线程号为8415的取的原始网页集合文件<br />对于每个在TianWang.raw.8415中的记录,都有一个对应的类叫CDocument(有点类似CPage.)<br />需要建立一个表,对每个记录(CDocument)在原始网页文件中的
1.Kubeadm部署K8s集群
龙跃丶
05-25 1033
1 网段规划 主机节点网段 192.168.200.0/24 Service网段 10.96.0.0/16 Pod网段 10.244.0.0/16 网段不能有冲突 2 集群资源配置 Master节点 4C8G * 3 Node节点 4C8G * 3 3 系统设置 – 所有节点 关闭Selinux # 临时关闭 setenforce 0 # 永久关闭 sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config se
【北大天网搜索引擎TSE学习笔记】第7节——中文分词
lewsn2008的博客
02-01 2442
这一节将介绍搜索功能入口程序TSESearch.cpp的第三步——中文分词。  （一）引子         中文分词主要有基于字符串匹配的分词方法和基于统计的分词方法，基于字符串匹配的方法又称为机械分词方法，它是按照一定的策略将待分析的汉字串与一个充分大的词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功（识别出一个词），所以该方法是基于词典的，需要一个充分大的且准且的词典。TSE中就
【北大天网搜索引擎TSE学习笔记】第1节——环境搭建
lewsn2008的博客
01-09 8626
最近在看《搜索引擎——原理、技术与系统》一书，同时下载了书中介绍的原型系统——北大天网搜索引擎TSE的源代码进行学习。之前没有任何搜索引擎方面的基础，也没有web开发经验，一切从零开始学习。为了记录学到的知识以备日后之用，也为了与大家分享并一起学习探讨，将学习的过程整理成笔记，连载发布于本博客。声明一下，我不是高手，我是菜鸟，从零开始学习，所以如果文中有错误之处敬请大家批评指出，也欢迎感兴趣的朋友
完整部署北大天网搜索引擎TSE
鱼爻
04-10 2764
最近在学习《搜索引擎——原理、技术与系统》这本书，书虽然有点年代感，但是技术永远不会过时。所以就来搭建一个自己的搜索引擎，下载源码，然后来学习，这里博客作笔记使用，同时也希望和更多的人一起讨论分享。 我这里主要的参考博客是一位大佬在13年写的博客专栏里面的博客，为什么我也要重复写呢，因为时间隔太远了，有很多的技术更新，需要用到很多的新技术，所以我就把自己的学习笔记分享一下。大佬的专栏地址在这，有兴...
TSE搜索引擎源码及相关资料
02-27
TSE搜索引擎源码及相关资料,为感兴趣的初学者提供参考
搜索引擎（TSE）
07-18
搜索引擎，TSE引擎技术内幕
TSE:北京大学网络实验室出品的小型搜索引擎，“微型搜索引擎源代码”
03-23
东京证券交易所 TSE为《搜索引擎-原理，技术与系统》一书介绍的实现原型 目录说明： tse-TSE的网页搜集层叠（爬虫） index-TSE的预和查询服务类别 代码来自博客： :
自顶向下学搜索引擎——北大天网搜索引擎TSE分析及完全注释[3]来到关键字分词及相关性分析程序
热门推荐
06-03 24万+
有前面注释我们可以知道查询关键字和字典文件准备好好后，将进入用户关键字分词阶段//TSESearch.cpp中： CHzSeg iHzSeg; //include ChSeg/HzSeg.h // iQuery.m_sSegQuery = iHzSeg.SegmentSentenceMM(iDict, iQuery.m_sQuery); //将get到的查询变量分词分成 "我
自顶向下学搜索引擎——北大天网搜索引擎TSE分析及完全注释[1]寻找搜索引擎入口
05-23 1万+
由于百度博客http://hi.baidu.com/jrckkyy发表文章字数有限，以后原创文章全部都先发表到csdn和cu上，再发表到百度博客上，百度博客除了放原创的文章还主要放网上寻找到的优秀文章。本着黑客精神我将陆续把最近分析注释TSE搜索引擎的心得发布出来，老鸟，大虾，大牛，高手飘过就是了，若愿意浪费指点下小弟的在下不甚感激，有问题的朋友直接留言讨论。由于本人水平有限，分析和翻译难免有
自顶向下学搜索引擎——北大天网搜索引擎TSE分析及完全注释[4]小结
06-03 3183
通过前面的三篇文章相信你已经对神秘的搜索引擎有了一个感性的认识，和普通的php类似的脚本语言服务器类似，通过获取前台关键字，通过字典分词，和事先建立建立好的倒排索引进行相关性分析，得出查询结构格式化输出结果。而这里的技术难点在于1、字典的选取（事实上根据不同时代不同地方人们的语言习惯是不一样的所以说字典的最小元的取值是不同的）2、倒排索引的建立（这里就要涉及到爬虫的抓取和索引的建立后面将重
自顶向下学搜索引擎——北大天网搜索引擎TSE分析及完全注释[2]路过查询处理程序
05-29 2526
由上一篇文章[原]自顶向下学搜索引擎——北大天网搜索引擎TSE分析及完全注释[1]寻找搜索引擎入口 我们可以知道整个程序是从TSESearch.cpp 中的main函数开始的我们重点一下这段代码//TSESearch.cpp CQuery iQuery; iQuery.GetInputs(); //具体程序开始执行 // current query & result pa
linux裸机RedHat as5.3 as4.3 上最新KFS 0.5版本安装全过程 2010年11月 依赖库使用最新版本源码编译安装[1]
11-24 2470
摘要： 裸机RedHat as5.3 32位机器上，裸机上默认安装有boost1.33，gcc version 4.1.2 20080704 (Red Hat 4.1.2-44)，java1.4，boost和gcc（目前知道的是gcc4.1.2版本以上，boost1.33以上KFS0.5版可以编译通过）符合KFS的版本要求，只需要下载并编译使用cmake来编译KFS，下载安装git来下载xfs，KFS依赖xfs的几个头文件，java1.4升级到java1.6即可。 裸机RedHat as4.3
自顶向下学搜索引擎——北大天网搜索引擎TSE分析及完全注释[6]倒排索引的建立的程序分析(1)
07-30 2224
author:http://hi.baidu.com/jrckkyyauthor:http://blog.csdn.net/jrckkyy上一篇主要介绍了倒排索引建立相关的文件及中间文件。TSE建立索引在运行程序上的大致步骤可以简化分为以下几步：1、运行命令#./DocIndex会用到一个文件 tianwang.raw.520    //爬取回来的原始文件，包含多个网页的所有信息，所以
自顶向下学搜索引擎——北大天网搜索引擎TSE分析及完全注释[6]倒排索引的建立的程序分析(3)
10-16 1678
这里介绍正向索引的建立，如果直接建立倒排索引效率上可能会很低，所以可以先产生正向索引为后面的倒排索引打下基础。 详细的文件功能和介绍都在这里有了介绍自顶向下学搜索引擎——北大天网搜索引擎TSE分析及完全注释[5]倒排索引的建立及文件介绍 CrtForwardIdx.cpp文件 int main(int argc, char* argv[])    //./CrtFo
自顶向下学搜索引擎——北大天网搜索引擎TSE分析及完全注释[6]倒排索引的建立的程序分析(4)
10-16 1458
以下是根据正向索引建立倒排索引的注释 int main(int argc, char* argv[])    //./CrtInvertedIdx moon.fidx.sort > sun.iidx {    ifstream ifsImgInfo(argv[1]);    if (!ifsImgInfo)     {        cerr "Cannot o
wireless communication tse
最新发布
06-22
无线通信是一种通过无线电传输信息的技术，可以传输声音、图像和数据等多种形式的信息。无线通信在现代社会中被广泛使用，包括手机、Wi-Fi、蓝牙、卫星通信等，为人们的日常生活和工作提供了便利。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Zda天天爱打卡

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值