网络风行者（KSpider）的规则体系结构

最新推荐文章于 2024-05-25 20:15:39 发布
最新推荐文章于 2024-05-25 20:15:39 发布
阅读量80 收藏
点赞数
文章标签： 数据库 人工智能 xhtml
原文链接：https://yq.aliyun.com/articles/342985
版权

最近在写龙龙第二版网络风行者。网络风行者引入了规则体系，简介如下：

规则主要分成两部分，一是数据匹配规则，二是数据提取规则。本文详述数据匹配规则，数据提取规则只简单提及。

我认为好的规则应该具备以下两点：

（1）实用，能适用于大部分应用场合

（2）易用，容易编写与调试

我看了几个国内现有的网络信息提取软件，主要是通过制定正则表达式进行提取，适用的场景有限，主要适用于1对1的数据提取场景，既从1个页面提取一条或多条数据，插入1个表中。用户需要熟练使用正则表达式，规则的直观性差。

网络风行者的规则类似于XML文档的schema，通过这样的规则匹配出html页面中的节点（当然首先需要将html转换为标准的树性结构，如xhtml或其它），然后再结合正则表达式及其它转换规则，进行数据提取（结合部分还没做）。

一、编写规则

编写规则文件很简单，对于一般的网站，打开你想要的页面，保存下来，使用dreamweaver或其它什么编辑器直接把包含你想要数据项的html代码提取出来存成一个文件就是规则了。当然，复杂的页面的规则稍微复杂一点，需要在html代码中加一些规则参数。

先看Demo（吸引眼球先），Demo之后是规则体系结构。

二、Demo

（1）样本――中国专利数据库摘要页

Kspider_00.jpg

（2）制定规则――截取我需要的html代码作为规则，并在我需要提取项加上kdistill属性：

< div  align ="center" >< center >
   < table  bordercolordark =#ffffff  width ="778"  bordercolorlight =#4787b8  border =1  cellspacing =0   style ="WORD-BREAK: break-all" >  
   < tbody >
     < tr  height ="22" >  

       < td  width ="20%"  bgcolor ="#D9F0FD"   > 【申请（专利）号】 　 </ td >
       < td  width ="30%"  kdistill ="专利号"   > &nbsp; CN88101389 　 </ td >
       < td  width ="20%"  bgcolor ="#D9F0FD" > 【申请日】 　 </ td >
       < td  width ="30%"  kdistill ="申请日"   > &nbsp; 1988.03.16 　 </ td >       
   </ tr >
     < tr   height ="22" >  
       < td  width ="20%"  bgcolor ="#D9F0FD" > 【名称】 　 </ td >
       < td  width ="80%"  colspan ="3"  kdistill ="名称" > &nbsp; 知识数据库式中文字处理机　 　 </ td >
   </ tr >
     < tr  height ="22" >  

     < td  width ="20%"  bgcolor ="#D9F0FD" > 【公开（公告）号】 　 </ td >
       < td  width ="30%"  kdistill ="公开号" > &nbsp; CN88101389 　 </ td >
     < td  width ="20%"  bgcolor ="#D9F0FD" > 【公开（公告）日】 　 </ td >
     < td  width ="30%"  kdistill ="公开日" > &nbsp; 1988.10.05 　 </ td >
   </ tr >
     < tr   height ="25" >  
       < td  width ="20%"  height ="25"  bgcolor ="#D9F0FD"  wrap > 【主分类号】 &nbsp; </ td >
       < td  width ="30%"  height ="25"  kdistill ="主分类号" > &nbsp; G06F3/00 </ td >
       < td  width ="20%"  height ="25"  bgcolor ="#D9F0FD"  wrap > 【分类号】 &nbsp; </ td >
       < td  width ="30%"  height ="25"  kdistill ="分类号" > &nbsp; G06F3/00;G06F15/38 </ td >
   </ tr >
     <!-- tr  height="22"> 
      <td width="20%" bgcolor="#D9F0FD">【分案原申请号】 　</td>
      <td width="30%">&nbsp;</td>

    </tr -->
     < tr  height ="22" >  
       < td  width ="20%"  bgcolor ="#D9F0FD"   > 【颁证日】 　 </ td >
       < td  width ="30%"  kdistill ="颁证日" > &nbsp;  　 </ td >
       < td  width ="20%"  bgcolor ="#D9F0FD" > 【优先权】 　 </ td >
       < td  width ="30%"  kdistill ="优先权" > &nbsp; 1987.3.16 JP 58947/87;1987.5.1 JP 106386/87;1987.7.31 JP 192329/87;1987.7.31 JP 192330/87 </ td >
   </ tr >
     < tr   height ="22" >  
       < td  width ="20%"  bgcolor ="#D9F0FD" > 【申请（专利权）人】 　 </ td >
       < td  width ="30%"  kdistill ="申请（专利权）人" > &nbsp; 日本电气株式会社 　 </ td >
       < td  width ="20%"  bgcolor ="#D9F0FD" > 【地址】 　 </ td >
       < td  width ="30%"  kdistill ="地址" > &nbsp; 日本东京港区　 </ td >
   </ tr >
     < tr  height ="22" >  
       < td  width ="20%"  bgcolor ="#D9F0FD" > 【发明（设计）人】 　 </ td >
       < td  width ="30%"  kdistill ="发明（设计）人" > &nbsp; 高桥忠雄 　 </ td >
       < td  width ="20%"  bgcolor ="#D9F0FD" > 【国际申请】 　 </ td >
       < td  width ="30%"  kdistill ="国际申请" > &nbsp; </ td >
   </ tr >
     < tr   height ="22" >  
       < td  width ="20%"  bgcolor ="#D9F0FD" > 【国际公布】 　 </ td >
       < td  width ="30%"  kdistill ="国际公布" > &nbsp; </ td >
       < td  width ="20%"  bgcolor ="#D9F0FD" > 【进入国家日期】 　 </ td >
       < td  width ="30%"  kdistill ="进入国家日期" > &nbsp; 　 </ td >
   </ tr >
     < tr  height ="22" >  
       < td  width ="20%"  bgcolor ="#D9F0FD" > 【专利代理机构】 　 </ td >
       < td  width ="30%"  kdistill ="专利代理机构" > &nbsp; 中国专利代理有限公司 　 </ td >
       < td  width ="20%"  bgcolor ="#D9F0FD" > 【代理人】 　 </ td >
       < td  width ="30%"  kdistill ="代理人" > &nbsp; 叶凯东; 程天正 　 </ td >
   </ tr >

     < tr  bgcolor ="#D9F0FD"  height ="22" >  
       < td  width ="100%"  colspan ="4"   >< a  name ="biref" ></ a > 【摘要】 　 </ td >
   </ tr >
     < tr  >  
       < td  width ="100%"  colspan ="4"  kdistill ="摘要" > &nbsp;  
            一种利用知识数据库构成的中文字处理机。它把中文发音符号、声调和汉字字形分离，并用汉字代码将二者结合，达到发音符号文件和汉字字形文件的分离，用本发明的中文汉字字形文件方式作成中文文书，比其它方式的文件容量减少几十倍；它可把需作成中文文章的一个或多个句子的拼音／声调字符串从普通键盘输入后一起转换，高速生成中文文件；可用声音进行拼音／声调输入，自动语音识别和转换为中文文件。        　 </ td >
   </ tr >
     < tr  bgcolor ="#D9F0FD"  height ="22" >  
       < td  width ="100%"  colspan ="4"   >< a  name ="biref" ></ a > 【主权项】 　 </ td >
   </ tr >
     < tr  >  
       < td  width ="100%"  colspan ="4"  kdistill ="主权项" > &nbsp;  
         以下述手段为其特征的利用知识数据库的中文字处理机：
输入汉语的拼音／声调字符代码的输入手段；　　存贮有一定
数量的以汉语单词字符代码和拼音／声调字符代码的组合作为
记录的汉语知识数据库文件；　　存贮着必要数量记录的汉语
用语文件，该文件的每个记录由中文汉字的字符代码和它的用
语例组成；　　把用前述输入手段输入的拼音／声调字符代码
保存起来的第１记忆手段；　　用上述第１记忆手段，以一个
句子为单位取出拼音／声调字符代码，并根据前述的汉语知识
数据库文件的内容，把所取出的一个句子的拼音／声调字符代
码，转换为汉语单词字符代码的手段；在利用该转换手段转换
所得的汉语单词字符代码中，对应于同一拼音／声调字符代码
，包含有多个转换结果的场合，按照前述汉语用语文件的内容
从中选择出一个妥当结果的妥当性检查手段；　　把用该妥当
性检查手段检查得到的汉语单词字符代码保存起来的第２记忆
手段。        　 </ td >
   </ tr >   

 </ tbody >
</ table >
</ center ></ div >

（3）规则文件是可视化的。用浏览器查看规则――
Kspider_01.jpg

（4）网络风行者内部将上面的规则翻译成自己的模型：

< DIV  (Simple)ALIGN >
   < TABLE  (Simple)BORDER (Simple)STYLE (Simple)CELLSPACING (Simple)WIDTH (Simple)BORDERCOLORLIGHT (Simple)BORDERCOLORDARK >
     < TR  (Simple)HEIGHT >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
     </ TR >
     < TR  (Simple)HEIGHT >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)COLSPAN (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
     </ TR >
     < TR  (Simple)HEIGHT >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
     </ TR >
     < TR  (Simple)HEIGHT >
       < TD  (Simple)WIDTH (Simple)HEIGHT (Simple)BGCOLOR (Simple)WRAP >
       </ TD >
       < TD  (Simple)WIDTH (Simple)HEIGHT (Simple)KDISTILL >
       </ TD >
       < TD  (Simple)WIDTH (Simple)HEIGHT (Simple)BGCOLOR (Simple)WRAP >
       </ TD >
       < TD  (Simple)WIDTH (Simple)HEIGHT (Simple)KDISTILL >
       </ TD >
     </ TR >
     < TR  (Simple)HEIGHT >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
     </ TR >
     < TR  (Simple)HEIGHT >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
     </ TR >
     < TR  (Simple)HEIGHT >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
     </ TR >
     < TR  (Simple)HEIGHT >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
     </ TR >
     < TR  (Simple)HEIGHT >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
       < TD  (Simple)WIDTH (Simple)BGCOLOR >
       </ TD >
       < TD  (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
     </ TR >
     < TR  (Simple)HEIGHT (Simple)BGCOLOR >
       < TD  (Simple)COLSPAN (Simple)WIDTH >
       </ TD >
     </ TR >
     < TR >
       < TD  (Simple)COLSPAN (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
     </ TR >
     < TR  (Simple)HEIGHT (Simple)BGCOLOR >
       < TD  (Simple)COLSPAN (Simple)WIDTH >
       </ TD >
     </ TR >
     < TR >
       < TD  (Simple)COLSPAN (Simple)WIDTH (Simple)KDISTILL >
       </ TD >
     </ TR >
   </ TABLE >
</ DIV >

（5）数据提取结果：

<? xml version="1.0" encoding="UTF-8"  ?>  
-  < KDISTILL >
-  < DATATABLE >
   < DATA  ID ="专利号" > &nbsp; CN88101389 　 </ DATA >  
   < DATA  ID ="申请日" > &nbsp; 1988.03.16 　 </ DATA >  
   < DATA  ID ="名称" > &nbsp; 知识数据库式中文字处理机　 　 </ DATA >  
   < DATA  ID ="公开号" > &nbsp; CN88101389 　 </ DATA >  
   < DATA  ID ="公开日" > &nbsp; 1988.10.05 　 </ DATA >  
   < DATA  ID ="主分类号" > &nbsp; G06F3/00 </ DATA >  
   < DATA  ID ="分类号" > &nbsp; G06F3/00;G06F15/38 </ DATA >  
   < DATA  ID ="颁证日" > &nbsp;  　 </ DATA >  
   < DATA  ID ="优先权" > &nbsp; 1987.3.16 JP 58947/87;1987.5.1 JP 106386/87;1987.7.31 JP 192329/87;1987.7.31 JP 192330/87 </ DATA >  
   < DATA  ID ="申请（专利权）人" > &nbsp; 日本电气株式会社 　 </ DATA >  
   < DATA  ID ="地址" > &nbsp; 日本东京港区　 </ DATA >  
   < DATA  ID ="发明（设计）人" > &nbsp; 高桥忠雄 　 </ DATA >  
   < DATA  ID ="国际申请" > &nbsp; </ DATA >  
   < DATA  ID ="国际公布" > &nbsp; </ DATA >  
   < DATA  ID ="进入国家日期" > &nbsp; 　 </ DATA >  
   < DATA  ID ="专利代理机构" > &nbsp; 中国专利代理有限公司 　 </ DATA >  
   < DATA  ID ="代理人" > &nbsp; 叶凯东; 程天正 　 </ DATA >  
   < DATA  ID ="摘要" > &nbsp;  一种利用知识数据库构成的中文字处理机。它把中文发音符号、声调和汉字字形分离，并用汉字代码将二者结合，达到发音符号文件和汉字字形文件的分离，用本发明的中文汉字字形文件方式作成中文文书，比其它方式的文件容量减少几十倍；它可把需作成中文文章的一个或多个句子的拼音／声调字符串从普通键盘输入后一起转换，高速生成中文文件；可用声音进行拼音／声调输入，自动语音识别和转换为中文文件。 　 </ DATA >  
   < DATA  ID ="主权项" > &nbsp;  以下述手段为其特征的利用知识数据库的中文字处理机：输入汉语的拼音／声调字符代码的输入手段；　　存贮有一定数量的以汉语单词字符代码和拼音／声调字符代码的组合作为记录的汉语知识数据库文件；　　存贮着必要数量记录的汉语用语文件，该文件的每个记录由中文汉字的字符代码和它的用语例组成；　　把用前述输入手段输入的拼音／声调字符代码保存起来的第１记忆手段；　　用上述第１记忆手段，以一个句子为单位取出拼音／声调字符代码，并根据前述的汉语知识数据库文件的内容，把所取出的一个句子的拼音／声调字符代码，转换为汉语单词字符代码的手段；在利用该转换手段转换所得的汉语单词字符代码中，对应于同一拼音／声调字符代码，包含有多个转换结果的场合，按照前述汉语用语文件的内容从中选择出一个妥当结果的妥当性检查手段；　　把用该妥当性检查手段检查得到的汉语单词字符代码保存起来的第２记忆手段。 　 </ DATA >  
   </ DATATABLE >
   </ KDISTILL >


三、规则体系结构

树性结构基本元素是节点。

节点包括以下方面：

（1）节点名称

（2）节点属性集合

（3）节点的elements集合

规则体系的主要概念是单节点匹配和多节点匹配。

1 单节点匹配

包括数种不同严格程度的节点匹配规则。

（1）简单匹配

忽略节点属性，只对节点名称及节点的elements进行匹配。如果规则中设置忽略elements匹配，则只对节点名称进行匹配。

以样本1和规则1为例，规则写在节点的kspider属性中。样本1肯定能匹配规则1。规则1如果删掉elements:ignore，代表不忽略子节点，这样就不能匹配样本1。

样本1：

< table  width ="100%" >
< tr >
< td >
</ td >
</ tr >
</ table >

规则1：

< table  kspider ="node:simple;elements:ignore" >
< tr >
< td >
</ td >
</ tr >
< tr >
< td >
</ td >
</ tr >
</ table >

规则1中的<tr>...</tr>等部分看起来是多余的，因为规则规定忽略这些子节点。它们实际上也是多余的，删掉它们（见规则2）规则不会发生变化。不过放在这里我有我的道理，这个后面会说明。

规则2：

< table  kspider ="node:simple;elements:ignore " >
</ table >

  当然也可以加上对节点值进行匹配的规则，但似乎很多应用不怎么需要这个，需要时再加上吧。

（2）完全匹配

对节点及节点属性进行匹配，如果设定忽略elements，则只匹配节点和节点属性。

规则3：

< table  height ="24"  kspider ="node:full;elements:ignore " >
< tr >
< td >
</ td >
</ tr >
< tr >
< td >
</ td >
</ tr >
</ table >

规则3是一个完全匹配规则，不能匹配样本1。因为规则中table节点的height属性样本1没有。

默认的节点属性匹配仅仅匹配节点属性名称，不对节点属性值进行匹配。如果需要对节点属性进行完全匹配，需要在规则节点上加上attribute:full，如果想自定义属性值规则，则需要写上attribute:full[attribute1="pattern1", attribute2="pattern2",...] attribute1, attribute2...是属性名称。pattern1, pattern2......是以正则表达式表示的属性值的规则。

对于样本节点中有，而规则节点中没有的属性，目前我是认为不违反规则的，这样程序实现简单一些，一般应用也够了，如果实在需要加上约束要求属性一一对应匹配，到时候再加上也不迟。

2 多节点匹配

以上说的是单节点匹配，但很多情况有些数据项是可变的，单节点匹配不适用。就像字符串匹配经常采用的%,*,$等通配符一样，节点匹配也需要这样的机制。

也即验证节点序列：

<node1>

<node2>

<node3>

是否符合规则序列：

<node pattern1>

<node pattern2>

<node pattern3>

目前我采用这样的方案：节点规则中可设定该节点是否的最大连续出现数目和最小连续出现数目。这样可以使用于大多数应用场景。

具体设定为：kspider="...;min=xxx;max=xxx;..."

目前我没设通配节点（类似于%,*,$等通配符），需要时再设定吧。

与多节点匹配对应的概念是完全多节点匹配和部分节点匹配。完全的多节点匹配指节点序列完全符合规则序列。部分节点匹配指节点序列中的一个部分节点序列能够符合规则序列，但是全部序列不符合规则序列。如规则4不完全匹配样本2。

样本2：

< table >
<  table  >
< div >
</ div >
< div >
</ div >
< table >
<  table  >
 
规则 4 ：

< div  kspider ="min:1;max:3" >
</ div >

完全的多节点匹配一般用于节点的elements的比较。我对节点的elements的规则匹配采用的是完全匹配。非完全多节点匹配一般用于数据提取，如一个页面中存在多条数据，则通过不完全匹配将这些数据一一提取出来。

单节点匹配是多节点匹配的实例。

3 规则制定

默认的话，对节点来说是完全匹配，匹配节点的名称，属性名称和子节点序列的完全匹配。节点最大连续发生数和最小连续发生数都是1。

因为有默认项，看起来挺复杂的规则用起来很简单。尽管规则文件存在冗余信息，但何必费劲删除它呢，留着又不碍事。如果数据项中存在可变数目的子项，最简单的方法就是在父节点上采用elements:ignore，或者采用max,min。极其个别的应用，才会用到其它的规则选项。

另外，可以设置TriggerTag，只有属于TriggerTag的节点，才作为比较项。不属于TriggerTag的节点，就当它是父节点的一段值。

需要提取的项用kdistill属性标注。kdistill属性目前规则很简单，因为我还要加上复杂的规则（主要是存储规则），实现后再详细介绍吧。

本文转自xiaotie博客园博客，原文链接http://www.cnblogs.com/xiaotie/archive/2006/03/07/344621.html如需转载请自行联系原作者


xiaotie 集异璧实验室(GEBLAB)

weixin_34319374
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kspider网络信息资源采集系统
weixin_34194551的博客
05-22 501
KSpider网络信息资源采集系统清华同方KSpider网络信息资源采集系统是一套功能强大的网络信息资源开发利用与整合系统，可用于定制跟踪和监控互联网实时信息，建立可再利用的信息服务系统。KSpider能够从各种网络信息源，包括网页、BLOG、论坛等采集用户感兴趣的特定信息，经自动分类处理后,以多种形式提供给最终用户使用。KSpider能够快速及时地捕获用户所需的热点新闻、市...
react组件创建方式
刘正全的博客
06-04 275
react组件创建方式总结有三种，React.createClass，无状态函数，ES6 classes， 1.React.createClass创建： // #1 使用React.createClass创建组件 const TextInput = React.createClass({ render(){ return(input type="tex
网页链接URI及URL的具体概念与含义
suliuzhen的博客
04-21 490
URI（Uniform Resource Identifier），即统一资源标志符，URI（Uniform Resource Location），即统一资源定位符，例如文科招聘网，既是一个 URI，也是一个 URL，URL 是 URI 的子集，对于一般的网页链接，习惯称为 URL，一个 URL 的基本组成格式如下： scheme://[username:password@]host[:port][/path][;parameters][?query][#fragment]
巧夺天工：采用正则表达式解决树匹配问题
weixin_33922672的博客
06-22 248
一、问题背景 最近在开发网络风行者（参见我的博客文章：《Web风行者的设计方案与计划》，《网络风行者（KSpider）的规则体系结构》）的Web版，与《Web风行者的设计方案与计划》中不同的是，新版本采用C#/Asp.Net开发，Web页面解析引擎采用的是HtmlAgilityPack。开发思想遵照《网络风行者（KSpider）的规则...
容器linux amd64,如何分析并探索 Docker 容器镜像的内容 | Linux 中国
weixin_33869754的博客
05-12 110
原标题：如何分析并探索 Docker 容器镜像的内容 | Linux 中国 我们将学会使用一个名为 Dive 的工具来分析和探索 Docker 镜像每层的内容。-- Sk致谢编译自　|https://www.ostechnix.com/how-to-analyze-and-explore-the-contents-of-docker-images/作者　|　Sk译者　|　Chang Liu (FS...
【0基础学爬虫】爬虫基础之爬虫的基本介绍
K哥爬虫
02-10 1266
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为爬虫的基本介绍。 一、爬虫概述 爬虫又称网络蜘蛛、网络机器人，网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型： 通用网络爬虫（Scalable Web Crawler）：抓取互联网上所有数据，爬取对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜
中文网页自动分类综述
boom_j的博客
12-21 3519
1.中文网页自动分类是从文本自动分类的基础上发展起来的，由于文本自动分类拥有比较成熟的技术，不少研究工作试图使用纯文本分类技术实现网页分类。孙建涛指出:用纯文本方式表示网页是困难的，也是不合理的，因为网页包含的信息比纯文本包含的信息要丰富得多;用不同方式表示网页然后再组合分类器的方法能够综合利用网页的特征，但各个分类器的性能难以估计，使用什么组合策略也难以确定。董静等人提出了基于网页风格、形态和内
爬虫scrapy
CSDN_Xying的博客
10-21 2175
启动scrapy框架
kSpider-crx插件
04-03
语言:中文 (简体)Data spider!快速保存当前页面内容（不是页面源码，而是实际可见的DOM文档），也可以一键保存窗口内全部页面。支持执行自定义脚本，批量控制页面行为。
【MySQL精通之路】SQL优化(1)-查询优化(1)-WHERE子句
Anakki的博客
05-22 626
与PRIMARY KEY或UNIQUE索引上的WHERE子句一起使用的表，其中所有索引部分都与常量表达式进行比较，并定义为NOT NULL。由于MySQL会自动进行类似的优化，因此您通常可以避免这项工作，并将查询保留为更易于理解和维护的形式。因为MySQL优化器的开发工作还在进行中，所以这里并没有记录MySQL优化器所有的优化。您可能会试图重写查询以加快算术运算，同时牺牲可读性。，这有助于简化join连接。有关更多信息和示例，请参见“有关更多信息，请参见“空表或只有一行的表。
Linux文件操作——实现cp指令以及模拟修改配置文件
shion1114的博客
05-23 340
cp 1.c 2.c功能是将(内容相同，实现拷贝)main函数的参数由编译结果可知，总共有三个输入参数，同时输出每个参数字符串内容。
Mongodb分布式id
最新发布
littleschemer的博客
05-25 661
分布式ID是指在分布式系统中用于唯一标识每个元素的数字或字符串。本文主要讲解mongodb分布式id的解决方案，并从实际测试代码验证产生的id在不同集合是否也是保证全局唯一。
《Python编程从入门到实践》day36
m0_37565294的博客
05-22 1732
我们要编写一个名为“学习笔记”的Web应用程序，让用户能够记录感兴趣的主题，并在学习每个主题的过程中添加日志条目。django-admin startproject learning_log . # 新建一个名为learning_log的项目，末尾的句点让新项目使用合适的目录结构。运行命令ls，其输出表明Django有创建一个db.sqlite3.SQLite使用一种使用单个文件的数据库。# 包含4个文件（settings.py、urls.py、wsgi.py、__init__.py）
Redis 完整
m0_73173239的博客
05-24 825
什么是 redis?是一种基于键值对的 NoSql 型数据库。与 hashMap 不同的是，Redis 中的 value 支持 string（字符串）、hash（哈希）、 list（列表）、set（集合）、zset（有序集合）、Bitmaps（位图）、GEO（地理信息定位）等多种数据结构。而 HashMap 只是 redis 中的 hash ，他们俩结构是相同的。
数据访问与Spring Data JPA
无远弗届
05-25 482
假设我们要处理一个用户表（users），可以创建一个User@Entity // 标识这是一个实体类 public class User {@Id // 标识这是主键字段 @GeneratedValue(strategy = GenerationType . AUTO) // 主键生成策略 private Long id;// Getter 和 Setter ... }@Entity // 标识这是一个实体类 public class User {
爬虫面试手册
u010926168的博客
05-24 1432
爬虫岗位要求和常见面试题
租赁系统|北京租赁系统|租赁软件开发流程
hegaokj的博客
05-25 569
此外，还需要考虑数据库的选择，如MySQL、MongoDB等，以满足数据存储和查询的需求。综上所述，租赁小程序的开发流程涉及需求分析、技术选型、设计与开发、测试与优化、上线与推广以及后期维护与更新等多个环节。只有这样，才能打造出功能完善、性能稳定、用户体验良好的租赁小程序，为商家带来更多的商业机会和收益。商家需要明确小程序的功能需求，包括用户注册登录、商品浏览、在线预约、支付结算、订单管理、评价反馈等。同时，也要关注行业动态和技术发展，及时将新技术和理念应用到小程序中，以保持小程序的竞争力和生命力。
matplotlib横向柱状图
08-29
- *1* *2* [matplotlib画柱状图](https://blog.csdn.net/kspider/article/details/124242470)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值