skymvc开发简易搜素引擎

2019独角兽企业重金招聘Python工程师标准>>>

skymvc开发简易搜素引擎

/*
* 作者 雷日锦 2016-05-24
*大家好，欢迎学习。今天给大家讲一个简易搜索引擎的开发。
*搜索引擎分为两部分：蜘蛛 和 全文索引
*演示地址：http://skycms.deitui.com/module.php?m=search
*/

/*
*广告时间
*想跟我学PHP的欢迎咨询QQ:362606856
*第一期 费用：3000元
*教学方式：网络教学 通过QQ或yy平台
*课程的目标：
*学会开发一套B2C网站
*知识点：
*php基础、jquery基础、mysql基础
*skymvc框架学习，其他主流框架（CI\thinkphp）介绍
*开源软件介绍（discuz\dedecms\ecshop）
*网站开发策划
*/

 

第一部分 蜘蛛的设计

蜘蛛采用skymvc自带的类库cls_spider.php  cls_solink. 
*cls_spider.php 简单封装curl_multi
*cls_solink 对网页内容进行解析 链接提取

 $sp=new Spider();
 $sp->start($urls,function($data){
	 print_r($data); 
 });
$solink=new solink($rdata);
$solink->get_content($rdata['content']);
$title=$solink->get_title();
$keywords=$solink->get_keywords();
$description=$solink->get_description();
$rp=parse_url($rdata['url']);
$links=$solink->get_link();

第二部分 全文索引 我们使用coreseek 

//建立索引
./bin/indexer -c ../etc/csft_mysql.conf searchd --rotate
./bin/indexer -c ../etc/csft_mysql.conf delta --rotate
./bin/indexer -c ../etc/csft_mysql.conf --merge searchd delta --rotate

//开启服务
./bin/searchd -c ../etc/csft_mysql.conf

索引模式“主索引＋增量索引”
我们需要添加一个执行任务

5分钟合并一次增量索引 
每天生成一次主索引的

/*****mysql*******/

CREATE TABLE `sky_mod_search_config` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `threads` smallint(6) unsigned NOT NULL DEFAULT '20' COMMENT '线程数',
  `steps` tinyint(6) unsigned NOT NULL DEFAULT '9' COMMENT '采集深度',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8 COMMENT='搜索-配置';


CREATE TABLE `sky_mod_search_domain` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `title` varchar(225) NOT NULL DEFAULT '' COMMENT '主题',
  `domain` varchar(255) NOT NULL DEFAULT '',
  `basedomain` varchar(255) NOT NULL DEFAULT '' COMMENT '一级域名',
  `url` varchar(300) NOT NULL DEFAULT '' COMMENT '首页',
  `dateline` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '时间',
  `step` tinyint(1) unsigned NOT NULL DEFAULT '0' COMMENT '第几级',
  `selfsite` tinyint(1) unsigned NOT NULL DEFAULT '0' COMMENT '1 只采集自己当前域名的站 0.采集主域名及子域名 2.采集所有',
  PRIMARY KEY (`id`),
  KEY `url` (`url`,`dateline`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8 COMMENT='搜索引擎-主题';

CREATE TABLE `sky_mod_search_sphinxcount` (
  `id` int(10) unsigned NOT NULL,
  `max_doc_id` bigint(20) unsigned NOT NULL DEFAULT '0',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='增量索引ID';

CREATE TABLE `sky_mod_search_spider` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `url` varchar(300) NOT NULL DEFAULT '' COMMENT '地址',
  `islock` tinyint(1) unsigned NOT NULL DEFAULT '0' COMMENT '锁 1是 0否',
  `dateline` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '时间',
  `step` tinyint(1) unsigned NOT NULL DEFAULT '0' COMMENT '第几级',
  `domain` varchar(32) NOT NULL DEFAULT '',
  `nolink` tinyint(4) NOT NULL DEFAULT '0' COMMENT '是没链接',
  `basedomain` varchar(32) NOT NULL DEFAULT '' COMMENT '一级域名',
  PRIMARY KEY (`id`),
  KEY `url` (`url`,`dateline`),
  KEY `islock` (`islock`,`step`,`dateline`) USING BTREE,
  KEY `domain` (`domain`,`islock`,`step`,`dateline`),
  KEY `basedomain` (`basedomain`,`islock`,`step`,`dateline`)
) ENGINE=InnoDB AUTO_INCREMENT=67029 DEFAULT CHARSET=utf8 COMMENT='搜索引擎-蜘蛛';

CREATE TABLE `sky_mod_search_topic` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `url` varchar(300) NOT NULL DEFAULT '' COMMENT '地址',
  `islock` tinyint(1) unsigned NOT NULL DEFAULT '0' COMMENT '锁 1是 0否',
  `dateline` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '时间',
  `last_time` int(10) unsigned NOT NULL DEFAULT '0',
  `step` tinyint(1) unsigned NOT NULL DEFAULT '0' COMMENT '第几级',
  `title` varchar(225) NOT NULL DEFAULT '' COMMENT '主题',
  `keywords` varchar(225) NOT NULL DEFAULT '' COMMENT '关键词',
  `description` varchar(225) NOT NULL DEFAULT '' COMMENT '描述',
  `grade` int(10) unsigned NOT NULL DEFAULT '0',
  `domain` varchar(255) NOT NULL DEFAULT '',
  `basedomain` varchar(255) NOT NULL DEFAULT '' COMMENT '一级域名',
  `content` mediumtext,
  PRIMARY KEY (`id`),
  KEY `url` (`url`,`dateline`)
) ENGINE=InnoDB AUTO_INCREMENT=1611 DEFAULT CHARSET=utf8 COMMENT='搜索引擎-主题';

 

转载于:https://my.oschina.net/lrjxgl2/blog/680425