![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
baidu生活
文章平均质量分 78
kofshower
这个作者很懒,什么都没留下…
展开
-
离开金融行业,加入在线搜索行业
现在搞 Search Arch Topic了原创 2011-09-15 13:26:31 · 385 阅读 · 0 评论 -
rdtsct tricky hack
static inline uint64 rdtsc() { unsigned int lo, hi;#ifdef __linux__ /* We cannot use "=A", since this would use %rax on x86_64 */ __asm__ __volatile__ ( "rdtsc" : "=a"原创 2012-04-07 23:59:39 · 538 阅读 · 0 评论 -
线程同步对象的实现
struct futex { volatile int lock; volatile int count;};#define LARGE_ENOUGH_NEGATIVE -0x7fffffff#ifdef __cplusplusextern "C" {#endifstatic inline voidfutex_init(struct futex* pf, int cou原创 2012-04-08 11:42:31 · 842 阅读 · 0 评论 -
double-locked singleton (spinlock version)
static inline int // return old valueatomic_add(volatile int *count, int add){#ifdef __linux__ __asm__ __volatile__( "lock xadd %0, (%1);" : "=a"(add) : "r"(count), "a"(add) : "memory"原创 2012-04-06 20:30:17 · 692 阅读 · 0 评论 -
搜索引擎的基本术语
什么是外链?外链也叫外部链接,或者是导入链接,即能够带来蜘蛛爬行访问的链接,也就是说从网站外部的其他网页链接到你的网站的链接。这样的链接包括文本链,也包括超级链接。什么是反链?即上面说的网页A(被收录的前提下)通过超链接的形式链接到网页B,那么网页A就是网页B的反向链接。 这样就可以得出反链是属于外链的一种。全库超链分析是超链分析之源,最初就是超链分析的全部。通过对webinfodb中所有原创 2011-11-24 12:16:03 · 442 阅读 · 0 评论 -
搜索引擎<原理、技术与系统>读书笔记(5)
网页净化元数据提取早期的方法:针对某一类具体网页,人工提取该类网页的内容组织模式。然后,信息提取系统根据该模式从属于该类的网页中提取相应的内容[Hammer, et al.,1997],[Ashish and Knoblock,1997]。(正则表达式)启发式规则:原创 2011-09-15 18:43:28 · 789 阅读 · 1 评论 -
搜索引擎<原理、技术与系统>读书笔记(4)
集中式搜集系统主控与网页抓取与分析进程的分布。在系统设计中,必须采用分布式技术将任务分布到多台机器上并行的处理。海量网页独立的分布在网络上,对并行访问提供充分的可能性和合理性。同时,分布并行还会节省网络带宽资源。 可定制性。系统可以让用户依据自己对信息的兴趣,配置用于引导原创 2011-09-15 17:44:29 · 436 阅读 · 0 评论 -
搜索引擎<原理、技术与系统>读书笔记(1)
增加DNS缓存的原因URL数以亿计,而主机数以百万计。如果没有DNS缓存,搜集子系统每次搜集新的URL,即使刚在上一次的任务中解析过该主机名,也要重新进行域名解析(除了用IP地址直接表示的主机,如:162.105.80.44)。为了避免频繁的查询DNS服务器,造成类似于拒原创 2011-09-15 13:56:33 · 524 阅读 · 0 评论 -
搜索引擎<原理、技术与系统>读书笔记(2)
基于字符串匹配的分词方法机械分词方法,可以建立一个一般的模型,形式地表示为ASM(d,a,m)d:匹配方向,+表示正向,-表示逆向a:每次匹配失败后增加或减少字串长度(字符数) ,+为增字,-为减字 m:最大或最小匹配标志,+为最大匹配,-为最小匹配。对于原创 2011-09-15 15:29:07 · 333 阅读 · 0 评论 -
搜索引擎<原理、技术与系统>读书笔记(3)
结果集合的形成对用户输入的查询短语应用第四章中讲到的中文自动分词技术,获得查询q的向量表示,q = {t1,t2,…,tm},然后执行检索算法伪代码a. 初始化,结果集合R=Φ,权值累加器A=0b. for each ti in q dobegin b原创 2011-09-15 15:53:44 · 335 阅读 · 0 评论 -
变长引用计数型小对象池实现
class CTranBufPool : public CBufPoolV{ struct Handle { DLINK link; char* pBuffer; Handle* pRealHdl; int nRef; int nConsBuf; }; typedef TLinkedList FreeList; typedef std::map原创 2012-04-10 15:36:51 · 673 阅读 · 0 评论