CJK刀的解析（一）

CJK刀是庖丁解牛的主要的一个切词的刀，它的效率决定了整个中文分词系统的好坏。
   CJK刀同样会先调用assignable函数来判断一下当前的字符是否适合使用此刀，这个函数是所有刀所必须调用的它是庖丁系统中重要的一部分，
它通常在发现当前一个字符时候使用此刀的时候会使用一个循环一次记录下所有适合的字符在Beef中的启始位置，以便一次用这个刀来切分这一
段字符串。
   接着它就要开始正式的处理字符串。由于中文分词的是以词典为中心，因而它会不断的截取词语来在词典中进行比较。首先它将确定截取词语的
开始位置和结束位置，得到这个词语后，它将直接放入词库中进行比较，如果在词库中的话，它将collect，并将孤立词的开始位置和当前截取词的
开始位置之间的部分作为孤立词进行分解。同时它将继续移动结束位置，也就是说将词的开始部分不动，延长词语的长度，如“华中科技大学”，发现
了"华中"这个词后，它将继续找“华中科”这个词，这个词显然不在词库中，但它却是一个词的开头，因而它不能确定为孤立字符串，如果发现它不是
一个词的前缀，那么就将孤立字符串的开始位置和当前词语的开始位置设置为确定的词典词语的结束位置。但当它发现孤立字符串的开始位置为不是
-1，也就是说前面几个字符都是孤立的，而且当前字符也是孤立的，则不要移动孤立字符串的开始位置，只移动当前词语的开始位置。
   如果延长的词语仍然是一个词语则将它collect，同时继续移动词语的结束位置。
   如果确定开始切分孤立字符串则将对孤立字符串进行二分的切分，所谓二分的切分，基本是二个字一切，"XY"切为"XY"，"X"切为"X"，"WXYZ"切为
"WX/XY/YZ","XYZ"切为"XY/YZ"。
  
  
   说得有点啰唆，简单来来说就是：
   1.在切词的时候词库词语优先切词。
   2.不在词典中的词语二分切词
   3.找到词典词语的时候贪婪的切词，就是说找到一个词后，继续往下找，找到以这个字开头的所有词为止。