java后台-网络编程
小米加大炮
天生我材必有用,千金散尽还复来!
展开
-
网站程序员你们知道这些URL编码知识吗?
本文首先阐述了人们关于统一资源定位符(URL)编码的普遍的误读,其后通过阐明HTTP场景下的URLencoding来引出我们经常遇到的问题及其解决方案。本文并不特定于某类编程语言,我们在Java环境下阐释问题,最后从Web应用的多个层次描述如何解决URL编码的问题来结尾。简介当我们每天上网冲浪时,有一些技术我们无时无刻不在面对。有数据本身(网页),数据的格式化,能够让我们获取数据的转载 2014-05-14 15:00:47 · 839 阅读 · 0 评论 -
URL(基础二) UrlRewriteFilter的使用
记得一次面试,有这样一道面试题:jsp页面当中需要用到ajax的实现,此时需要调用java的url;此时的问题是如果用户查看页面源码就能看到真是的url,这个问题如何避免。说实话,AJAX我用的只是皮毛,只会用js获取参数,然后传递给java应用程序,由应用程序来加工处理。如果有返回需求的话,可以以xml的方式返回数据。自己使用的时候没有考虑过url暴露的问题,看到这个题目,当原创 2014-05-14 15:13:58 · 1974 阅读 · 0 评论 -
URL(基础三) UrlRewriteFilter的使用注意事项
2,在web.xml中添加过滤器,如下所示: UrlRewriteFilter org.tuckey.web.filters.urlrewrite.UrlRewriteFilter logLevel WARN原创 2014-05-14 16:30:11 · 3051 阅读 · 0 评论 -
URL(基础一) UrlRewrite正则表达式匹配、配置实例和分析
urlrewrite.xml配置: 无参数匹配 ^/([_a-zA-Z]+[_0-9a-zA-Z-/]*[_0-9a-zA-Z]+)$转载 2015-04-09 08:58:49 · 3456 阅读 · 0 评论 -
URL(基础四) java中的URL编码
在开始讨论编码解码之前,首先来明确一下问题。什么是application/x-www-form-urlencoded字符串?答:它是一种编码类型。当URL地址里包含非西欧字符的字符串时,系统会将这些字符转换成application/x-www-form-urlencoded字符串。 表单里提交时也是如此,当包含非西欧字符的字符串时,系统也会将这些字符转换成appl转载 2014-05-13 17:31:36 · 1129 阅读 · 0 评论 -
网络爬虫(一) 网络爬虫基本原理
网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。这篇博客主要对爬虫以及抓取系统进行一个简单的概述。一、网络爬虫的基本结构及工作流程 一个通用的网络爬虫的框架如图所示:网络爬虫的基本工作流程如下: 1.首先选取一部分精心挑选的种子URL; 2.将这些URL放转载 2015-07-13 09:24:35 · 870 阅读 · 0 评论 -
网络爬虫(二) 网络爬虫基本原理
四、更新策略 互联网是实时变化的,具有很强的动态性。网页更新策略主要是决定何时更新之前已经下载过的页面。常见的更新策略又以下三种: 1.历史参考策略 顾名思义,根据页面以往的历史更新数据,预测该页面未来何时会发生变化。一般来说,是通过泊松过程进行建模进行预测。 2.用户体验策略 尽管搜索引擎针对于某个查询条件能够返回数量巨大的结果,但是用户往往只关转载 2015-07-13 09:47:32 · 593 阅读 · 0 评论 -
网络爬虫(三) Java实现简单的网络爬虫
一直以来都希望自己做一个站内的搜索引擎,其实不一定是一个搜索引擎,关键是能分析网站数据的东西,java有很多开源的爬虫实现,但是开始还是从一个简单的里面了解其原理吧。 总共有6个类,先介绍下每个类的功能: DownloadPage.java的功能是下载此超链接的页面源代码. FunctionUtils.java 的功能是提供不同的静态方法,包括:页面链接正转载 2015-07-13 09:55:21 · 483 阅读 · 0 评论 -
网络爬虫(四) Java实现简单的网络爬虫
记得在刚找工作时,隔壁的一位同学在面试时豪言壮语曾实现过网络爬虫,当时的景仰之情犹如滔滔江水连绵不绝。后来,在做图片搜索时,需要大量的测试图片,因此萌生了从Amazon中爬取图书封面图片的想法,从网上也吸取了一些前人的经验,实现了一个简单但足够用的爬虫系统。网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成,其基本架构如下图所示:转载 2015-07-13 10:26:20 · 753 阅读 · 0 评论