2015年08月_aebdm757009

转载 Impala：新一代开源大数据分析引擎--转载

原文地址：http://www.parallellabs.com/2013/08/25/impala-big-data-analytics/文/耿益锋陈冠诚大数据处理是云计算中非常重要的问题，自Google公司提出MapReduce分布式处理框架以来，以Hadoop为代表的开源软件受到越来越多公司的重视和青睐。以Hadoop为基础，之后的HBase，Hive，Pig等系统...

2015-08-31 19:46:00 145

转载 HDFS集中式的缓存管理原理与代码剖析--转载

原文地址：http://yanbohappy.sinaapp.com/?p=468Hadoop 2.3.0已经发布了，其中最大的亮点就是集中式的缓存管理(HDFS centralized cache management)。这个功能对于提升Hadoop系统和上层应用的执行效率与实时性有很大帮助，本文从原理、架构和代码剖析三个角度来探讨这一功能。主要解决了哪些问题1.用户可以根...

2015-08-31 19:38:00 81

转载 Hadoop基于Protocol Buffer的RPC实现代码分析-Server端--转载

　原文地址：http://yanbohappy.sinaapp.com/?p=110　　　最新版本的Hadoop代码中已经默认了Protocol buffer（以下简称PB，http://code.google.com/p/protobuf/）作为RPC的默认实现，原来的WritableRpcEngine已经被淘汰了。来自cloudera的Aaron T. Myers在邮件中这样说的...

2015-08-31 19:37:00 86

转载 Hadoop RPC protocol description--转

原文地址：https://spotify.github.io/snakebite/hadoop_rpc.htmlSnakebite currently implements the following protocol insnakebite.channel.SocketRpcChannelto communicate with the NameNode.Conn...

2015-08-31 19:24:00 107

转载 hdfs源码分析第一弹

1. hdfs定义HDFS is the primary distributed storage used by Hadoop applications. A HDFS cluster primarily consists of a NameNode that manages the file system metadata and DataNodes that store th...

2015-08-31 16:45:00 201

转载 java 文件读写--转载

读文件http://www.baeldung.com/java-read-fileJava – Read from File1. OverviewIn this tutorial we’ll explore different ways toread from a File in Java; we’ll make use ofBufferedReader,Scanne...

2015-08-28 16:40:00 93

转载 Java – Reading a Large File Efficiently--转

原文地址：http://www.baeldung.com/java-read-lines-large-file1. OverviewThis tutorial will showhow to read all the lines from a large file in Javain an efficient manner.This article is part of...

2015-08-28 15:43:00 90

转载文件上传流式处理commons-fileupload

1. 从请求中获取MultipartFile @RequestMapping(value="/upload", method=RequestMethod.POST) public @ResponseBody String handleFileUpload( @RequestParam("file") MultipartFile fil...

2015-08-28 15:30:00 121

转载 http 协议上传文件multipart form-data boundary 说明--转载

原文地址:http://xixinfei.iteye.com/blog/2002017含义 ENCTYPE="multipart/form-data" 说明：通过 http 协议上传文件 rfc1867协议概述，jsp 应用举例，客户端发送内容构造1、概述在最初的 http 协议中，没有上传文件方面的功能。 rfc1867 (http://www.ietf.org/rfc/rfc...

2015-08-27 13:10:00 632

转载 Java 8 Stream Tutorial--转

原文地址：http://winterbe.com/posts/2014/07/31/java8-stream-tutorial-examples/This example-driven tutorial gives an in-depth overview about Java 8 streams. When I first read about theStreamAPI, I ...

2015-08-26 15:29:00 148

转载 solr源码分析之searchComponent

上文solr源码分析之数据导入DataImporter追溯中提到了solr的工作流程，其核心是各种handler。handler定义了各种search Component， @Override public void handleRequestBody(SolrQueryRequest req, SolrQueryResponse rsp) thro...

2015-08-25 19:10:00 155

转载 Five ways to maximize Java NIO and NIO.2--转

原文地址：http://www.javaworld.com/article/2078654/java-se/java-se-five-ways-to-maximize-java-nio-and-nio-2.htmlJava NIO -- the New Input/Output API package-- was introduced with J2SE 1.4 in 2002. J...

2015-08-25 17:38:00 109

转载 solr源码分析之数据导入DataImporter追溯。

　　若要搜索的信息都是被存储在数据库里面的，但是solr不能直接搜数据库，所以只有借助Solr组件将要搜索的信息在搜索服务器上进行索引，然后在客户端供客户使用。1. SolrDispatchFilterSolrDispatchFilter的作用：将请求的url映射到定义在solrconfig.xml中的处理器handler。要处理的动作有： enum Action ...

2015-08-24 15:55:00 105

转载 spark初识

spark特性：　　提供了java scala python 和R的api支持。　　在生产环境上扩展超过8000个节点。　　可以在内存中缓存交互中间数据的能力：提炼一个工作集合，缓存它，反复查询。　　低级别的水平伸缩的数据检索可以通过scala或者python 命令行进行交互。　　高级别的流处理库spark streaming可以处理流数据。　　通过spark s...

2015-08-21 15:11:00 97

转载 Spark：一个高效的分布式计算系统--转

原文地址：http://soft.chinabyte.com/database/431/12914931.shtml概述　　什么是Spark　　◆ Spark是UC Berkeley AMP lab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点;但不同于M...

2015-08-21 14:10:00 112

转载 Importing/Indexing database (MySQL or SQL Server) in Solr using Data Import Handler--转载

原文地址：https://gist.github.com/maxivak/3e3ee1fca32f3949f052Install Solrdownload and install Solr fromhttp://lucene.apache.org/solr/.you can access Solr admin from your browser: http://localh...

2015-08-21 11:21:00 764

转载 mysql 压力测试之批量插入自增字段不连续问题

Gaps in auto-increment values for“bulk inserts”Withinnodb_autoinc_lock_modeset to 0 (“traditional”) or 1 (“consecutive”), the auto-increment values generated by any given stateme...

2015-08-21 10:25:00 176

转载 mysql 表设计时的update_time自动更新

11.3.5Automatic Initialization and Updating for TIMESTAMP and DATETIME原文地址:https://dev.mysql.com/doc/refman/5.6/en/timestamp-initialization.htmlAs of MySQL 5.6.5,TIMESTAMPandDATETIMEcolu...

2015-08-21 10:19:00 196

转载 8月之生活杂记

8月已然进入下旬，却一事无成，聊做记录，以警未来。初，天气渐热，妈妈和外甥女从上海回老家，心情混杂着失落，且随着天气的炎热，心情有些暴躁，迟迟不能安心。又后，发烧和腹泻，体质变弱，但旋好转，然祸不单行，洗澡扭到腰，起始没有太放到心上，上班以后回家后，疼不自制；周六去医院，看病开药；至周日症更重，不能自理。周一去东方医院，ct后方知，椎间盘突出，压迫到神经，遂卧床三日，不得动弹...

2015-08-20 13:17:00 83

转载 DIH增量、定时导入并检索数据--转载

原文地址：http://www.ifunit.com/984/solr%E5%AD%A6%E4%B9%A0%EF%BC%88%E4%BA%94%EF%BC%89dih%E5%A2%9E%E9%87%8F%E3%80%81%E5%AE%9A%E6%97%B6%E5%AF%BC%E5%85%A5%E5%B9%B6%E6%A3%80%E7%B4%A2%E6%95%B0%E6%8D%AE注意...

2015-08-20 10:48:00 96

转载 solr4.2增量索引之同步(修改，删除，新增)--转载

原文地址：http://www.jiancool.com/article/12743229775/;jsessionid=14E9B3F1BB33399799884B5C8F15DDE1solr增量索引配置1.在进行增量索引前，首先要弄懂几个必要的属性，以及数据库建表事项，和dataimporter.properties data-confi...

2015-08-20 10:43:00 136

转载 lucence学习系列之一基本概念

1. Lucence基本概念Lucence是一个java编写的全文检索类库，使用它可以为一个应用或者站点增加检索功能。它通过增加内容到一个全文索引来完成检索功能。然后允许你基于这个索引去查询，返回结果，结果要么根据查询的相关度来排序要么根据任意字段如文档最后修改日期来排序。增加到Lucence的内容可以来自多种数据源，如SQL/NOSQL 数据库，文件系统，甚至从站点上。...

2015-08-14 14:55:00 287

转载一次聊天引发的思考--java并发包

一次聊天，谈到了死锁的解决、可重入锁等等，突然发现这些离自己很远，只有一些读书时的概念涌入脑海，但各自的应用场景怎么都无法想出。痛定思痛，决定看看concurrent包里涉及并发的类及各自的应用场景。第一类：原子操作类的atomic包，里面包含了1）布尔类型的AtomicBoolean2）整型AtomicInteger、AtomicIntegerArray、AtomicInt...

2015-08-11 11:38:00 229

转载 Exchanging Partitions and Subpartitions with Tables--官方文档

原文地址：https://dev.mysql.com/doc/refman/5.6/en/partitioning-management-exchange.htmlIn MySQL 5.6, it is possible to exchange a table partition or subpartition with a table usingALTER TABLEptEXC...

2015-08-04 16:51:00 158