2014年12月_Java海洋

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Solrj日期范围查询

在做根据日期来检索的时候普通的格式化会出错，试了好多种只有一种可行

2014-12-30 13:22:14 2065

原创 HBase总结（二十）HBase常用shell命令详细说明

进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)>whoami表的

2014-12-23 11:49:24 7774

原创解决maven引用jdk中的tools.jar报Missing artifact的问题

很多框架都会依赖jdk中的tools.jar，但是maven仓库中却没有. 如在eclipse+maven编写mapreduce代码，就会报Missing artifact　jdk.toos:jdk.toos:jar:1.6 如何解决这个问题呢，只需要在项目的pom.xml 文件中加入以下配置，指定maven去本地寻找 tools.jar、

2014-12-22 19:12:58 2076 1

原创 Solr 报错：RemoteSolrException: Expected mime type application/octet-stream but got text/html

1、RemoteSolrException: Expected mime type application/octet-stream but got text/html现象：SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: Defaulting to no-operation (

2014-12-22 19:02:59 10874 5

原创 window下部署Solr

主要步骤如下：1、下载solr-4.7.2.zip;下载地址：http://archive.apache.org/dist/lucene/java/2、解压缩solr-4.7.2.zip，解压后目录结构如下：3、将example/webapps目录下的solr.war复制到tomcat的webapps目录中;4、启动tomcat服务器，这时候会报错，暂时不用管，只是为了解压war包

2014-12-21 14:39:03 2455

原创 apache lucene solr 官网历史版本下载地址

lucene的历史版本下载地址：http://archive.apache.org/dist/lucene/java/ solr的历史版本下载地址：http://archive.apache.org/dist/lucene/solr/

2014-12-20 23:13:13 9198 2

原创布隆过滤器总结（三）Java代码实现

/** * 项目名：SpiderCrawler * 文件名：BloomFilterTest.java * 作者：zhouyh * 时间：2014-8-29 下午02:54:56 * 描述：TODO(用一句话描述该文件做什么) */package com.utilTest;import java.io.BufferedReader;import java.io.Fi

2014-12-19 11:24:41 1927 1

原创布隆过滤器总结（二）原理和例子

布隆过滤器用于字符串去重复，比如网络爬虫抓取时URL去重、邮件提供商反垃圾黑名单Email地址去重。等等。用哈希表也可以用于元素去重，但是占用空间比较大，而且空间使用率只有50%。　　布隆过滤器只占哈希表的1/8或1/4的空间复杂度，就能解决同样的问题，但是有一定的误判，而且不能删除已有元素。元素越多，误报率越大，但是不会漏报。对于还需要删除的布隆过滤器，还有Counter Bloom Fil

2014-12-19 11:19:55 5298

转载布隆过滤器总结（一）详解

布隆过滤器(Bloom Filter)详解布隆过滤器［1］（Bloom Filter）是由布隆（Burton Howard Bloom）在1970年提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率（假正例False positi

2014-12-19 11:11:34 7122

转载 Redis初始

一、QuickStart1、Redis简介：　　redis是一个性能非常优秀的内存数据库，通过key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hashs（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并

2014-12-16 19:06:21 1199

原创 JAVA中的队列

在java5中新增加了java.util.Queue接口，用以支持队列的常见操作。该接口扩展了java.util.Collection接口。Queue使用时要尽量避免Collection的add()和remove()方法，而是要使用offer()来加入元素，使用poll()来获取并移出元素。它们的优点是通过返回值可以判断成功与否，add()和remove()方法在失败的时候会抛出异常。如

2014-12-15 21:46:46 986

转载 Hadoop架构和设计要点

一、前提和设计目标1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS上的应用与一般的应用不同，它们主要是以流式读为主，做批量处理；比之关注数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。3、HDFS以支持大数据集合为目标，一个存储在上面的典

2014-12-14 16:10:03 1943

转载 JDK8 十大新特性

本教程将用带注释的简单代码来描述新特性，你将看不到大片吓人的文字。一、接口的默认方法Java 8允许我们给接口添加一个非抽象的方法实现，只需要使用 default关键字即可，这个特征又叫做扩展方法，示例如下：复制代码代码如下:interface Formula { double calculate(int a); default double

2014-12-14 15:24:34 9648

转载 HBase总结（十九）数据导入方式

*). Client API实现借助HBase的Client API来导入, 是最简易学的方式.Configuration config = HBaseConfiguration.create(); // 配置hbase.zookeeper.quorum: 后接zookeeper集群的机器列表 config.set("hbase.zookeeper.quorum", "tw-nod

2014-12-09 21:55:28 17417