浅议URL normalization

最新推荐文章于 2024-04-17 11:27:16 发布
最新推荐文章于 2024-04-17 11:27:16 发布
阅读量3k 收藏 2
点赞数 2
分类专栏： heritrix
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lvvista/article/details/24666405
版权
本文探讨URL normalization的重要性，包括其目的、主要内容和在Nutch、Heritrix爬虫中的实现。URL规范化主要目的是URL去重，避免重复爬取、资源浪费和内存占用。它涉及协议、主机名、端口、路径等多个方面的处理。Nutch的规范化处理包括剔除空格、转换为小写等，而Heritrix提供了更多定制规则，如删除查询字段、会话ID等。
摘要由CSDN通过智能技术生成

                   作为网络爬虫的一个微小组件，甚至都谈不上组件，而只是一个小功能点而已，但URL 规范化的作用和影响却一点也不小，这篇文章就基于目前我所掌握的的知识，简单谈谈URL normalization，主要从如下几个方面来谈：URL normalization的实质，为什么需要URL normalization，URL normalization的主要内容，nutch中URL normalization所做的工作以及heritrix中URL normalization所做的工作

 

                   URL normalization的实质

                   顾名思义，URL normalization就是对URL进行规范化处理，这里的规范化主要是基于一定的标准对从网页中提出的URL进行处理，然后对处理后的URL再进行

存储，就好像在邮政系统中，需要地址按照行政级别从大到小来编写，人名需要姓在前，名在后，对抽取出的URL进行规范化处理后，所有的URL就可以基于同一个标准进行

各种逻辑操作。

 

                   为什么需要URL normalization

                   URL规范化的主要目的就是为了URL去重，如果不进行去重处理，就会出现如下几种情形：

                   1.爬虫不止一次对同一个资源（由等价的URL指向）进行爬取，甚至索引（如果没有内容去重模块的话）。

                   2.大量形式

最低0.47元/天 解锁文章
lvvista
关注
专栏目录
url-normalizer:简单节点模块以标准化URL
05-24
网址规范化器 简单节点模块以标准化URL
normalize-url:规范化URL
05-01
规范化网址 URL 当您需要显示，存储，重复数据删除，排序，比较等URL时很有用。 安装 $ npm install normalize-url 如果需要在浏览器中使用它，请使用版本4： npm i normalize-url@4 用法 const normalizeUrl = require ( 'normalize-url' ) ; normalizeUrl ( 'sindresorhus.com' ) ; //=> 'http://sindresorhus.com' normalizeUrl ( '//www.sindresorhus.com:80/../baz?b=bar&a=foo' ) ; //=> 'http://sindresorhus.com/baz?a=foo&b=bar' 原料药 normalizeUrl（网址，选项？） 网址 类型： string 要规范化的U
url normalization
jollyjumper的专栏
11-12 1678
在爬虫中需要将url变为唯一、合法的形式以避免重复爬行,因此正规化要将其中必须用urlencode的地方全部encode,不需要的即时在原始url中已经encode也要decode(保留字符和非保留字符使用原RFC规定的,参考维基百科url normalization一文,与浏览器有一定出入),且所有的url encode都要使用大写形式,域名后面的冗余点号必须去掉,域名必须全部小写,域名部分还要按照IDN的规定使用punycode进行编码(暂未实现),路径部分要消除.和..的冗余,同事对于超出范围的url
URL规范（url normalization）
黑麦(Ryee) - 搜索引擎营销SEO 3.0
01-11 193
URL规范化(url normalization)其实就是一个标准化URL的过程，其实也就是将一个URL转化为一个符合规范的等价URL(如http://www.blog.com /shudo转化为http://www.blog.com/shudo/)，这样程序可以确定这两个URL是等价的。 URL规范化用于搜索引擎可以减少对页面的重复索引，同时也可以减少爬虫的重复抓取。浏览器端识别用户是否访问过...
checkio (URL Normalization)
勿忘初衷
03-11 1397
URL normalization is the process by which URLs are modified and standardized in a consistent manner. The goal of the normalization process is to transform a URL into a normalized or canonical URL so i
网址规范函数完成（Url Normalize）即相对地址的补全
weixin_30593261的博客
03-08 355
接上文 url的规范化问题, 今天有空把这个函数完成了。基本没有对输入做检测，所以用的时候请注意哦 函数功能：将相对网址，根据页面地址补全为绝对网址. class Program { static void Main(string[] args) { string baseUrl1 = "http://aifunv.com/?p=...
URL规范化(URL normalization)--SEO基础
usench_10000的博客
07-14 2397
原文链接：http://www.cnblogs.com/shuchao/archive/2009/09/17/url-normalization.html   URL规范化(url normalization)其 实就是一个标准化URL的过程，其实也就是将一个URL转化为一个符合规范的等价URL(如http://www.cnblogs.com /shuchao转化为http://www.cn...
normalization.rar_Normalization_matlab normalization_normalizati
07-15
1. **最大最小归一化（Max-Min Normalization）**： 这种方法是最常见的归一化形式，也称为区间缩放。它通过将原始数据按比例缩放到[0, 1]之间。`maxmin.m`文件很可能实现了这个过程，公式如下： ``` X_...
标准化url
quxiaolei的专栏
07-14 540
标准化url protrol://host[:]port[/]pathname[?]search[#]hash
java安全增加url_规范化String以在Java中创建安全URL
weixin_39654352的博客
02-27 200
我正在用Java编写一个库,它以这种方式从文件名列表中创建URL：final String domain = "http://www.example.com/";String filenames[] = {"Normal text","Ich weiß nicht", "L'ho inserito tra i princìpi"};System.out.println(domain+normali...
URL规范化(URL normalization) 及 不规则URL
华秋实的专栏
04-11 6758
URL规范化(url normalization)其实就是一个标准化URL的过程，其实也就是将一个URL转化为一个符合规范的等价URL(如http://www.csdn.com/yockie转化为http://www.csdn.com/yockie/)，这样程序可以确定这两个URL是等价的。 URL规范化用于搜索引擎可以减少对页面的重复索引，同时也可以减少爬虫的重复抓取。浏览器端识别用户是否访问
数据归一化方法
liuxiabing150的专栏
08-25 1075
1 数据归一化到[0 1] 归一化公式：y=(x-MinValue)/(MaxValue-MinValue) 2 数据归一化到[-1 1] 归一化公式：x_new = ((2*(x_origin - min))/(max-min))-1
URL处理两个小工具方法
weixin_34194551的博客
05-25 71
有的时候我们要操作一个URL地址中查询参数，为了不破坏URL的原有结构，我们一般不能直接在URL的后面加&query=value，特别是我们的URL中有多个参数时，这种处理更麻烦。下面两个小方法就是专门用来为一个URL添加一个查询参数或删除一个查询参数，这两个方法隐藏了原URL有无参数，是不是原来就有这个参数，有没有fragment(#anchor)这些细节和处理         /**...
深度深度网络设计中各种归一化方法总结
MasterQKK
03-07 5426
批归一化Batch Normalization, BN 层归一化Layer Normalization, LN 实例归一化， Instance Normalization, IN 自适应实例归一化， Adaptive Instance Normalization, AdaIN, 组归一化， Group Normalization, GN 权重归一化， Weight Normalization, WN 统一的数学表达形式
本地图片预览的方式，参数归一化
最新发布
m0_71954160的博客
04-17 871
公式为 x* = (x - min) / (max - min)，其中 max 是样本数据的最大值，min 是样本数据的最小值。：也称为标准差标准化，它将数据按其均值和标准差进行归一化，使归一化后的数据符合标准正态分布，即均值为0，标准差为1。一个FileReader上面的实例方法，读取指定的File对象，读取完成的时候触发回调，返回URL格式的字符串（base64）一个静态方法，创建一个DOMString，返回一个URL，URL和document绑定，表示指定的File对象。
get和post的使用场景
weixin_45398467的博客
07-19 736
GET和POST两种方法都是将数据送到服务器。HTTP标准包含这两种方法是为了达到不同的目的。 POST用于创建资源，资源的内容会被编入HTTP请示的内容中。例如，处理订货表单、在数据库中加入新数据行等。 当请求无副作用时（如进行搜索），便可使用GET方法；当请求有副作用时（如添加数据行），则用POST方法。一个比较实际的问题是：GET方法可能会产生很长的URL，或许会超过某些浏览器与服务器对URL长度的限制。 若符合下列任一情况，则用POST方法： 请求的结果有持续性的副作用，例如，数据库内添加新的数据
Normalization
05-29
Normalization是一种数据预处理技术，它的目的是将数据转换为一定范围内的标准值，以便更好地进行比较和分析。常见的几种Normalization方法包括： 1. 最大最小值归一化（Min-Max Normalization）：将数据缩放到[0,1]的范围内。 2. z-score标准化：将数据转换为均值为0，标准差为1的分布。 3. 小数定标规范化：将数据除以某个固定的基数，通常选择10的整数次幂，使得数据落在[-1,1]的范围内。 这些Normalization方法可以使得不同特征之间的数据范围一致，避免某些特征对模型的影响过大，从而提高模型的性能和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值