2015年04月_colie_li

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 mybatis批量插入、删除

//把Group对象装在List中然后进行如下操作 insert into group(group_id,a_id,b_id) values (#{itm.GroupId},#{itm.AId},#{itm.BId}) delete from group group_id = #{group_id} and group_i

2015-04-23 19:09:15 839

转载 Mybatis各种模糊查询

模糊查询：工作中用到，写三种用法吧，第四种为大小写匹配查询 1. sql中字符串拼接 SELECT * FROM tableName WHERE name LIKE CONCAT(CONCAT('%', #{text}), '%'); 2. 使用 ${...} 代替 #{...} SELECT * FROM tableName WHERE name LIKE '

2015-04-22 17:51:47 1629

原创 elasticsearch JAVA客户端操作---搜索的过滤、分组高亮

elasticsearch 提供的API比较多，看名字差不多可以明白什么意思源码地址：源码下载点击public void search01() { QueryBuilder query = QueryBuilders.queryString("9"); // 设置搜索的内容和现实的大小 SearchResponse res = client.prep

2015-04-20 22:33:48 2442

原创 elasticsearch JAVA客户端操作---索引的CURD

索引的创建 public void addindex01() { UserModel user = new UserModel(); user.setId(1); user.setName("李四"); user.setAge("101"); user.setSex("1231"); user.setTel("Tel"); String jsondata = E

2015-04-20 22:14:43 2003

转载 elasticsearch5java操作之fact

public void search02() { // 定义一个分组并为其命名 TermsFacetBuilder facetBuilder = FacetBuilders.termsFacet("groupBysex"); // 按照哪个字段进行分组 facetBuilder.field("sex").size(1); // 过滤器匹配所有文件 facetBuilder.

2015-04-19 23:09:41 1437

转载 ElasticSearch搜索实例

public void search() throws IOException { // 自定义集群结点名称 String clusterName = "elasticsearch_pudongping"; // 获取客户端 Client client = ESClient.initClient(clusterName);

2015-04-19 22:59:52 4309

转载 elasticsearch java API ------搜索

在创建索引时，我们根据IndexResponse，得到了index、type和id，Get一条记录的方法很简单： GetResponse getResponse = client.prepareGet(index, type, id).execute().actionGet(); 分布式搜索Elasticsearch——创建索引一文中提到如何将一个实体转化为Json字符串，我们推荐的方法

2015-04-19 22:57:51 5327 3

原创 Storm中Trident流合并的例子demo

流的合并操作，是指根据两个流的关联条件将两个流合并成一个流，然后在进行后面的处理操作，如果使用Spout和Bolt这种编程模型的话写起来会比较困难和繁琐，因为要设置缓冲区来保存第一次过来的数据，后续还要进行两者的比较，使用Trident应用起来比较方便，对原来的编程模型进行了一定的抽象。代码实例：需求：两个spout： spout1:里面的数据是 nam

2015-04-16 18:49:50 3263

转载 Storm常见模式——流聚合

流聚合（stream join）是指将具有共同元组（tuple）字段的数据流（两个或者多个）聚合形成一个新的数据流的过程。从定义上看，流聚合和SQL中表的聚合（table join）很像，但是二者有明显的区别：table join的输入是有限的，并且join的语义是非常明确的；而流聚合的语义是不明确的并且输入流是无限的。数据流的聚合类型跟具体的应用有关。一些应用把两个流发出的所有的tupl

2015-04-15 10:27:37 887

转载使用Storm实现实时大数据分析

摘要：随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视，为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。简单和明了，Storm让大数据分析变得轻松加愉快。当今世界，公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获

2015-04-14 23:10:19 752

转载 Storm实战常见问题及解决方案

该文档为实实在在的原创文档，转载请注明:http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html类型详细备注该文档是群里几个朋友在storm实战中遇到的一些问题，及其对应解决办法。相关描述² 其他相关文档请参考新浪博客http://blo

2015-04-14 18:28:57 589

转载 twitter storm常用命令

提交Topologies命令格式：storm jar 【jar路径】【拓扑包名.拓扑类名】【拓扑名称】样例：storm jar /storm-starter.jar storm.starter.WordCountTopology wordcountTop#提交storm-starter.jar到远程集群，并启动wordcountTop拓扑。停止Topologies命令格式：

2015-04-14 18:21:16 469

转载 Hashtable和HashMap的区别

1、两者继承的直接父类不同：Hashtable继承自Dictiionary，HashMap继承自AbstractMap，这一区别可以通过两者的源码明显地看到：public class HashMap extends AbstractMap implements Map, Cloneable, Serializablepublic class Hashtable ex

2015-04-14 12:01:26 463

原创 Storm中new Value 与input.getString(int i)

刚开始接触对着两个概念比较模糊，不明白input.gvetString(int i)中的i具体是什么的索引，看下源码就非常简单了new Valuespublic class Values extends ArrayList{ public Values() { } public Values(Object... vals) {

2015-04-14 11:47:40 1890

在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm，它是一个实时处理系统，它为实时处理类应用提供了一个计算模型，可以很容易地进行编程处理。为了统一离线和实时计算，一般情况下，我们都希望将离线和实时计算的数据源的集合统一起来作为输入，然后将数据的流向分别经由实

2015-04-14 10:36:57 1126

原创 Strom实时计算--简述

Strom和hadoop的区别：全量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得到了广泛的使用。但是，hadoop不擅长实时计算。这时需要strom实时计算系统Strom架构Storm集群由一个主节点和多个工作节点组成。主节点运行了一个名为“Nimbus”的守护进程，用于分配代码、布置任务

2015-04-13 17:07:12 1739

转载 Linux安装jdk出现java/lang/NoClassDefFoundError

java -versionError occurred during initialization of VMjava/lang/NoClassDefFoundError: java/lang/Object首先确认环境变量ARM_HOME=/work/tools/arm/binJAVA_HOME=/work/java/jdk/binECLIPSE_HOME=/wor

2015-04-09 21:31:15 963

转载 ubuntu12.04 安装配置jdk1.7

第一步：下载jdk-7-linux-i586.tar.gzwget -c http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-i586.tar.gz (注：如果下载不下来，建议使用迅雷下载，然后拷贝到Linux系统上。)第二步：解压安装sudo mkdir /usr/lib/jvm

2015-04-09 21:29:46 464

转载 comparator接口与Comparable接口的区别

1. Comparator 和 Comparable 相同的地方他们都是java的一个接口, 并且是用来对自定义的class比较大小的,什么是自定义class: 如 public class Person{ String name; int age }.当我们有这么一个personList,里面包含了person1, person2, persion3....., 我们用C

2015-04-09 14:50:32 461

转载 spring 配置触发器 ----可以定时的自动运行某些东西

在Spring中配置Quartz前面介绍过了Timer在Spring中的实现，今天接前文介绍Quartz在Spring中的配置. 而Quartz类库不但有着上述JDK的Timer类库类似的配置，更重要的，它还有着类似于unix的cron服务的配置; 正是基于cron服务的配置使Quartz能方便、清晰指定启动时间，让开发者更青睐于它。在调度方式上，不同于Time

2015-04-09 14:19:48 1893

转载 Web中的监听器过滤器拦截器

1.过滤器：顾名思义就是过滤请求内容的，所谓的过滤就是我们可以获得request对象中的值进行一系列的判断或者其他的操作。我们可以使其字符集编码格式改变等。具体的示例代码看下面的例子。public class MyFilter implements javax.servlet.Filter { 2 /** 3 * 初始化 4 */ 5 @Override

2015-04-09 11:57:45 665

原创 MyBatis批量操作报错：Parameter 'xxxList' not found. Available parameters are [list]

需求：根据传入的参数批量删除数据：DAO:List ll = new ArrayList(); for(int i=10;i<25;i++){ ll.add(i); } int res = userMapper.delUser(li); System.out.println(res);xml: delete from users whe

2015-04-06 22:46:49 4422 1