- 博客(41)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 数据预处理
现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提前数据挖掘的质量产生了数据预处理技术。 数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。 一、数据清理 首先是处理空缺值，如：要分析某市场的销售和顾客数据，但顾客的income项
2014-12-10 11:08:26
685
转载 Lucene搜索引擎开发高级部分1（索引的建立和优化）
Lucene搜索引擎开发高级部分（索引的建立和优化）1，文本的分析对于不同的文本要使用不同的分析器IndexWriter writer = new IndexWriter(indexPath,new StandardAnalyzer());writer.addDocument(doc);这是我们一般常用的方法，但是对于我们处理的文档中不仅含有中文文档（如还有法语）这样的情况，使
2013-04-13 12:35:02
974
转载 [高可用性] 负载均衡，会话保持，session同步
一，什么负载均衡一个新网站是不要做负载均衡的，因为访问量不大，流量也不大，所以没有必要搞这些东西。但是随着网站访问量和流量的快速增长，单台服务器受自身硬件条件的限制，很难承受这么大的访问量。在这种情况下，有二种方案可以选择：1，对单台服务器的硬件进行更新，由双核的变成四核的，内存加大等。2，增加服务器的台数，来分担服务器的负担。以实现增加网络带宽，增加服务器的处理能力的目的。第一种
2013-03-30 16:16:26
880
转载 SSI tomcat 配置
简介SSI (Server Side Includes)是放置在HTML页面里的指令(directives)，在HTML页面被使用的同时在服务器上被评估。这样可以让你把新产生的内容添加到现存的HTML页面上，而不需要同过CGI程序，或其他动态的技术来产生整个页面。当你使用Tomcat作为你的HTTP服务器，并要求有SSI支持，你可以把SSI支持添加到Tomcat里面。通常在
2013-02-21 16:48:59
642
原创 SSI服务端包含技术
让tomcat支持ssi1.把文件$CATALINA_HOME/server/lib/servlets-ssi.renametojar重新命名为$CATALINA_HOME/server/lib/servlets-ssi.jar.2.在文件$CATALINA_HOME/conf/web.xml中，你需要把两个地方的注释去掉，servlet 声明和servlet mapping。
2013-02-21 14:48:14
757
原创 js获得当前系统时间（html标签自定义属性）
无标题文档 function getCurDate(){ var d = new Date(); var week; switch (d.getDay()){ case 1: week="星期一"; break; case 2: week="星期二"; break; case 3: week="星期三"; break; case 4:
2013-02-20 17:41:33
1526
转载 JAVA NIO 简介
1. 基本 概念IO 是主存和外部设备 ( 硬盘、终端和网络等 ) 拷贝数据的过程。 IO 是操作系统的底层功能实现，底层通过 I/O 指令进行完成。所有语言运行时系统提供执行 I/O 较高级别的工具。 (c 的 printf scanf,java 的面向对象封装 )2. Java 标准 io 回顾Java 标准 IO 类库是 io 面向对象的一种抽象。基于本地方法的底层
2013-02-19 14:21:47
273
转载 【转】百万级访问网站前期的技术准备
一、开发语言一般来说，技术人员（程序员）创业都是根据自己技术背景选择自己最熟悉的语言，不过考虑到不可能永远是您一个人写程序，这点还得仔细想想。无论用什么语言，最终代码质量是看管理，所以我们还是从纯语言层面来说实际一点。现在流行的java、php、.net、python、ruby都 有自己的优劣，python和ruby，现在人员还是相对难招一些，性能优化也会费些力气，.net平台买不起win
2013-02-15 23:28:47
580
转载 使用jQuery解析嵌套JSON数据
使用jQuery解析JSON数据在上一篇的Struts2之ajax初析中，我们得到了comments对象的JSON数据，在本篇中，我们将使用jQuery进行数据解析。我们先以解析上例中的comments对象的JSON数据为例，然后再小结jQuery中解析JSON数据的方法。上例中得到的JSON数据如下，是一个嵌套JSON：{"comments":[{"conte
2013-02-07 20:04:02
3585
转载 正则表达式30分钟入门教程
正则表达式30分钟入门教程版本：v2.31 (2009-4-11) 作者：deerchao转载请注明来源来源：http://www.cnblogs.com/deerchao/archive/2006/08/24/zhengzhe30fengzhongjiaocheng.html#howtouse（为了跟自己弱不禁风的记忆力做顽强斗争，先把精华部分拷过来，以备不时之需。）目录跳过
2013-02-06 00:08:31
377
转载 自己动手封装js工具类（JS中定义类的几种方式：混合的构造函数/原型方式，动态原型等）
整理内容来源网络：1、工厂方式 function Car(){ var ocar = new Object; ocar.color = "blue"; ocar.doors = 4; ocar.showColor = function(){ document.write(this.color) }; return oc
2013-02-04 16:48:23
3531
原创 java IO操作，追加文件的三种方式
[java] view plaincopyimport java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import java.io.FileWriter; import java.io.IOException; import j
2013-02-04 11:30:23
943
转载 oracle大数据量查询--分区表入门
在大型的企业应用或企业级的数据库应用中，要处理的数据量通常可以达到几十到几百GB，有的甚至可以到TB级。虽然存储介质和数据处理技术的发展也很快，但是仍然不能满足用户的需求，为了使用户的大量的数据在读写操作和查询中速度更快，Oracle提供了对表和索引进行分区的技术，以改善大型应用系统的性能。 使用分区的优点： 增强可用性：如果表的某个分区出现故障，表在其他分区的数据仍然可用；
2013-02-03 12:27:35
7707
转载 mysql 远程连接数据库的二种方法 .
一、连接远程数据库：1、显示密码如：MySQL 连接远程数据库（192.168.5.116），端口“3306”，用户名为“root”，密码“123456”C:/>mysql -h 192.168.5.116 -P 3306 -u root -p1234562、隐藏密码如：MySQL 连接本地数据库，用户名为“root”，C:/>mysql -h lo
2013-01-25 17:28:18
660
原创 Solr通过配置自动Commit
在很多情况下，我们并不想自己主动触发COMMIT相应的XML给SOLR，这样带来很多的不便，恰好，SOLR通过配置文件可以自行在满足指定的条件下自动的COMMIT索引，同时，让前端检索实例可以检索到最新生成的数据，而不需要人为干预。方法很简单：找到solrConfig.xml文件找到以下行，并增加以下配置[xhtml] view plaincopyprint?
2013-01-24 18:13:08
733
转载 Solr4.0 SolrCloud概述
在Lucene/Solr的SVN trunk中的SolrCloud已经可用, 在即将发布的4.0版本中将正式包含. 目前SolrCloud已经成熟, 可以支持分布式索引和分布式搜索. 下面是我们一个项目采用新的SolrCloud的部署结构图: 看起来是否非常简单? 下面我们看看内部的一些实现细节. SolrCloud功能和架构 下面是SolrCloud一些不错的功能
2013-01-24 18:09:41
1740
转载 solr的facet查询
solr将以导航为目的的查询结果称为facet. 它并不会修改查询结果信息, 只是在查询结果上根据分类添加了count信息, 然后用户根据count信息做进一步的查询, 比如淘宝的查询列表中, 上面会表示不同的类目相关查询结果的数量.比如搜索数码相机, 在搜索结果栏会根据厂商, 分辨率等维度列出, 这里厂商, 分辨率就是一个个facet. 然后在厂商下面会有nikon, can
2013-01-24 18:03:36
698
转载 Solr Cache使用介绍及分析(转)
本文将介绍Solr查询中涉及到的Cache使用及相关的实现。Solr查询的核心类就是SolrIndexSearcher，每个core通常在 同一时刻只由当前的SolrIndexSearcher供上层的handler使用（当切换SolrIndexSearcher时可能会有两个同时提供服务），而Solr的各种Cache是依附于SolrIndexSearcher的，SolrIndexSearch
2013-01-24 16:56:39
1670
转载 Solr 获取searcher实例分析(转)
每一个搜索请求都会持有一个searcher的引用，而不是创建一个新的searcher，处理完后会释放掉这个引用。Solr在初始化化时，通过SolrCore核心类要做很多的初始化工作，包过读取solrconfig.xml配置文件里的内容，代码如下：booleanQueryMaxClauseCount(); //设置布尔查询最多个数。initListeners(); //读取配置文
2013-01-24 16:55:41
944
转载 不二法门---Solr常用调优方法
转自：http://rdc.taobao.com/team/jm/archives/1753共整理三部分，第一部分Solr常规处理，第二部分针对性性处理，前者比较通用，后者有局限性。务必根据具体应用特性，具体调节参数，对比性能。第三部分solr查询相关的 具体应用需要全面去把控，各个因素一起起作用。第一部分E文连接 http://wiki.apache.org/solr/S
2013-01-24 16:47:31
961
原创 java 中遍历Map的几种方法
方法分为两类：一类是基于map的Entry；map.entrySet();一类是基于map的key；map.keySet()而每一类都有两种遍历方式：a.利用迭代器 iterator；b.利用for-each循环；代码举例如下：[java] view plaincopyprint?package cn.wzb; import
2013-01-23 00:04:52
32980
1
转载 Solrj操作Solr4.0 中CloudSolrServer
Solrj操作Solr4.0 中CloudSolrServer的一般过程一、准备工作：创建eclipse工程1. 下载solr4.0_src的源码包，解压后，进入目录中，在命令行执行：ant eclipse 则可以生成一个eclipse工程，会在目录中多了关于eclipse工程的文件：.classpath 和 .project;在eclipse导入该生成的工程（lucene
2013-01-22 23:59:06
8987
转载 solr 开发文档
转载纯属为了方便个人学习，作者原文请参考http://www.blogjava.net/hoojo/archive/2011/10/21/361747.htmlSolr 是一种可供企业使用的、基于 Lucene 的搜索服务器，它支持层面搜索、命中醒目显示和多种输出格式。在这篇文章中，将介绍 Solr 并展示如何轻松地将其表现优异的全文本搜索功能加入到 Web 应用程序中。
2013-01-22 11:19:07
1071
转载 solr高级
Full Import 例子让我们来看下面的例子. 假设我们数据库中的表结构如下：This is a relational model of the same schema that Solr currently ships with. 我们使用这个例子来为我们的DataImportHandler建data-config.xml。 我们已经使用这个结构在HSQLDB上建立了一个数据库.
2013-01-22 10:58:56
7717
1
原创 sole(3) 配置Mysql数据导入
MySql数据导入大多数的应用程序将数据存储在关系数据库、xml文件中。对这样的数据进行搜索是很常见的应用。所谓的DataImportHandler提供一种可配置的方式向solr导入数据，可以一次全部导入，也可以增量导入。他可以实现能够读取关系数据库中的数据。 通过可配置的方式，能够将数据库中多列、多表的数据生成solr文档 能够通过solr文档更新solr 提供通过配置文
2013-01-22 02:57:20
652
原创 solr(3)整合paoding
1.下载paoding-analysis-2.0.4-beta.ziphttp://code.google.com/p/paoding/downloads/list2.解压压缩包至paoding-analysis-2.0.4-beta3.设置paoding的home环境变量：l把paoding-analysis-2.0.4-beta中的dic文件夹考到sol
2013-01-21 23:12:45
1077
1
原创 Solr（2）的实例
这里我使用的数据库是MySQL，首先集成MySQL1.创建表[sql] view plaincopyprint?-- ---------------------------- -- Table structure for `documents` -- ----------------------------DROP TABLE IF EXISTS `docu
2013-01-21 23:10:15
691
原创 Solr（1）环境搭建
Solr学习笔记（一）Solr的安装1.solr解压到E:\solr。tomcat解压到e:\tomcat。2.把E:\solr\dist\apache-solr-1.2.0.war放到E:\tomcat\webapps目录下改名为solr.war。3.把E:\solr\example目录中的solr文件夹复制到E:\tomcat\目录下。4.在E:\tomcat\co
2013-01-21 23:08:02
392
转载 Lucene 简介
Lucene 简介Lucene 是一个基于 Java 的全文信息检索工具包，它不是一个完整的搜索应用程序，而是为你的应用程序提供索引和搜索功能。Lucene 目前是 Apache Jakarta 家族中的一个开源项目。也是目前最为流行的基于 Java 开源全文检索工具包。目前已经有很多应用程序的搜索功能是基于 Lucene 的，比如 Eclipse 的帮助系统的搜索功能。Lucene 能够
2013-01-21 09:44:56
273
转载 Solr使用入门指南
由于搜索引擎功能在门户社区中对提高用户体验有着重在门户社区中涉及大量需要搜索引擎的功能需求，目前在实现搜索引擎的方案上有集中方案可供选择：1. 基于Lucene自己进行封装实现站内搜索。工作量及扩展性都较大，不采用。2. 调用Google、Baidu的API实现站内搜索。同第三方搜索引擎绑定太死，无法满足后期业务扩展需要，暂时不采用。3. 基于Compass+Lucene实现站内搜索。
2013-01-21 01:08:37
559
原创 代理与反向代理的区别
正向代理的概念正向代理,也就是传说中的代理,他的工作原理就像一个跳板,简单的说,我是一个用户,我访问不了某网站,但是我能访问一个代理服务器这个代理服务器呢,他能访问那个我不能访问的网站于是我先连上代理服务器,告诉他我需要那个无法访问网站的内容代理服务器去取回来,然后返回给我从网站的角度,只在代理服务器来取内容的时候有一次记录有时候并不知道是用户的请求,也隐藏了用户的
2013-01-20 20:13:42
742
转载 修改MySql最大Sql文件导入大小
mysql根据配置文件会限制server接受的数据包大小。有时候大的插入和更新会被max_allowed_packet 参数限制掉，导致失败。查看目前配置show VARIABLES like '%max_allowed_packet%';显示的结果为：+--------------------+---------+ | Variable_name | Value
2013-01-20 10:18:59
17107
原创 Mysql导入、导出数据
好记性不如烂笔头，可怜阿哥我两样都不沾边，痛改前非，现在就开始记录。###导出1、进入mysql的bin目录 我的电脑：cd "C:\Program Files\MySQL\MySQL Server 6.0\bin"2、mysqldump YourDatabase -uroot -proot --database >YourDatabase.sqlPS：如不加“--databas
2013-01-19 13:52:59
424
原创 HTTP状态码大全
HTTP状态码大全完整的 HTTP 1.1规范说明书来自于RFC 2616，你可以在http://www.talentdigger.cn/home/link.php?url=d3d3LnJmYy1lZGl0b3Iub3JnLw%3D%3D在线查阅。HTTP 1.1的状态码被标记为新特性，因为许多浏览器只支持 HTTP 1.0。你应只把状态码发送给支持 HTTP 1.1的客户端，支持
2013-01-19 12:32:33
244
转载 apache工具包 简要讲解
Apache Commons包含了很多开源的工具，用于解决平时编程经常会遇到的问题，减少重复劳动。我选了一些比较常用的项目做简单介绍。文中用了很多网上现成的东西，我只是做了一个汇总整理。Commons BeanUtilshttp://jakarta.apache.org/commons/beanutils/index.html说明：针对Bean的一个工具集。由于Bean往往是有一堆
2013-01-18 12:27:40
615
原创 struts2执行原理（执行流程）
一个请求在Struts2框架中的处理大概分为以下几个步骤：1 客户端发送请求；2 这个请求经过一系列的过滤器（Filter）（这些过滤器中有一个叫做ActionContextCleanUp的可选过滤器，这个过滤器对于Struts2和其他框架的集成很有帮助，例如：SiteMesh Plugin）3 接着FilterDispatcher被调用，FilterDispatcher询问Act
2013-01-14 00:02:06
349
转载 单点登录实现步骤
单点登录（Single Sign On , 简称 SSO ）是目前比较流行的服务于企业业务整合的解决方案之一， SSO 使得在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。CAS(Central Authentication Service)是一款不错的针对 Web 应用的单点登录框架，本文介绍了 CAS 的原理、协议、在 Tomcat 中的配置和使用，对于采用 CAS 实现
2013-01-06 19:57:22
699
原创 SSl简介
在网络上，信息在由源主机到达目的主机的传输过程中会经过其他计算机。一般情况下，中间的计算机不会监听路过的信息。但在访问网上银行或者进行信用卡交易时，网络上的信息有可能被非法分子监听，从而导致个人隐私的泄露。由于Internet和Internet体系结构存在一些安全漏洞，总会有某些人能够截获并替换用户发出的原始信息。随着电子商务的不断发展，人们对信息安全的要求也越来越高，于是Netscape公司提出
2013-01-06 17:50:51
539
转载 TOMCAT配置SSL认证为HTTPS协议服务
1 . 问题概述 很多安全性要求较高的系统，都会使用安全套接字层(SSL)进行信息交换，Sun为了解决在Internet上的实现安全信息传输的解决方案。它实现了SSL和TSL（传输层安全）协议。在JSSE中包含了数据加密，服务器验证，消息完整性和客户端验证等技术。通过使用JSSE，可以在Client和Server之间通过TCP/IP协议安全地传输数据。今天我们利用T
2013-01-06 17:37:07
306
转载 乐观锁与悲观锁
锁（ locking ）业务逻辑的实现过程中，往往需要保证数据访问的排他性。如在金融系统的日终结算处理中，我们希望针对某个cut-off时间点的数据进行处理，而不希望在结算进行过程中（可能是几秒种，也可能是几个小时），数据再发生变化。此时，我们就需要通过一些机制来保证这些数据在某个操作过程中不会被外界修改，这样的机制，在这里，也就是所谓的 “
2013-01-05 16:55:18
284
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人