2015年11月_javastart

转载使用 Spring、Elasticsearch 及 Logstash 构建企业级数据搜索和分析平台

使用 Spring、Elasticsearch 及 Logstash 构建企业级数据搜索和分析平台 [复制链接] 电梯直达楼主发表于前天 13:32 | 只看该作者大数据系列零基础由入门到实战视频本帖最后由

2015-11-27 19:00:20 1626

原创 hiveServer2 挂起处理

clouderamanger 5.4.5 hiveserver2 时间：20151126 现象：insert overwrite table tmp_avro_car_zw select car_id , car_plate_number , car_plate_color , trailer_id , car_owner , car_owner_address , car_sta

2015-11-26 17:23:42 2215

转载最完整的Elasticsearch 基础教程

最完整的Elasticsearch 基础教程2014-10-21 15:32:01| 发布人：PHP_PentaKill| 浏览(9472)| 评论(1) 翻译：潘飞（tinylambda@gmail.com）基础概念 Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。

2015-11-21 14:11:12 5840 3

转载全文搜索之 Elasticsearch

全文搜索之 Elasticsearch 概述Elasticsearch （ES）是一个基于 Lucene 的开源搜索引擎，它不但稳定、可靠、快速，而且也具有良好的水平扩展能力，是专门为分布式环境设计的。特性安装方便：没有其他依赖，下载后安装非常方便；只用修改几个参数就可以搭建起来一个集群JSON：输入/输出格式为 JSON，意味着不需要定义 Schema，快捷方便RE

2015-11-20 22:58:33 723

转载用elasticsearch-river-jdbc同步数据到elasticsearch

2015-11-20 16:33:55 9080

转载 ElasticSearch基础杂烩-配置-索引-优化

ElasticSearch基础杂烩-配置-索引-优化标签： elasticsearch 2014-10-29 20:06 7620人阅读评论(1)收藏举报分类：搜索引擎（15）作者同类文章X目录(?)[+]前言选用原因简单介绍分布式搜索elasticsearch 中文分词集成cl

2015-11-20 16:30:13 3730 1

转载 Elasticsearch基础

Elasticsearch基础标签： elasticsearch 目录(?)[+]基础概念安装探索你的集群修改你的数据探索你的数据介绍查询语言基础概念 Elasticsearch有几个核心概念。从一开始理解这些概念会对整个学习过程有莫大的帮助。接近实时（NRT） Elasticsearch

2015-11-20 16:29:05 499

转载通过HBase Observer同步数据到ElasticSearch

通过HBase Observer同步数据到ElasticSearchObserver希望解决的问题HBase是一个分布式的存储体系，数据按照RowKey分成不同的Region，再分配给RegionServer管理。但是RegionServer只承担了存储的功能，如果Region能拥有一部分的计算能力，从而实现一个HBase框架上的MapReduce，那HBase的操作性能将进一

2015-11-20 15:59:20 2347

转载基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎

网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。搜索引擎架构在ElasticSearch之上，是一个典型的分布式在线实时交互查询架构，无单点故障，高伸缩、高可用。对大量信息的索引与搜索

2015-11-20 15:57:50 2526

转载日志系统之HBase日志存储设计优化

2015-11-20 09:17:52 1076

转载 Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)阅读目录一.概述二.Hadoop（HA）集群的搭建三.集群的启动四.测试HA的高可用性一.概述1.1 hadoop1.0的单点问题Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代

2015-11-19 15:29:06 1139

转载 Redis Sentinel初体验

自Redis增加Sentinel集群工具以来，本博主就从未尝试过使用该工具。最近在调研目前主流的Redis集群部署方案，所以详细地看了一遍官方对于Sentinel的介绍并在自己的台式机上完成了三Redis实例+三Sentinel实例的部署，这里做一下简单的总结。首先，下载安装Redis。目前随Redis 2.8发布的Sentinel版本被antirez称为Sentinel 2，是在Se

2015-11-19 10:35:19 1791

转载提升性能 Java程序优化的一些最佳实践

提升性能 Java程序优化的一些最佳实践1条评论2013-10-10 10:44 来源：开源中国社区　作者: chape　编辑:王晓东0购买【IT168 技术】作者通过经历的一个项目实例，介绍Java代码优化的过程，总结了优化Java程序的一些最佳实践，分析了进行优化的方法，并解释了性能提升的原因。作者从多个角度分析导致性能低的原因，并逐个进行优

2015-11-18 10:47:54 799

转载大量数据情况下单线程插入和多线程insert数据库的性能测试

大量数据情况下单线程插入和多线程insert数据库的性能测试之前一直没有遇到过大批量数据入库的场景，所以一直没有思考过在大量数据的情况下单线程插入和多线程插入的性能情况。今天在看一个项目源代码的时候发现使用了多线程insert操作。于是简单的写了一个测试程序来测试一批数据在N个线程下的insert情况。public class ThreadImport { pr

2015-11-18 10:32:48 42683 3

转载使用Apache Spark和MySQL打造强大的数据分析

使用Apache Spark和MySQL打造强大的数据分析2015-10-16 09:21 小象字号：T | T借助真实案例和代码样本，本文作者展示了如何将Sparke和MySQL结合起来，创造数据分析上的强大工具。AD：【活动】Web和APP兼容性实战 Win10训练营免费报名借助真实案例和代码样本，本文作者展

2015-11-18 10:14:46 7544

转载 Spark as a Service之JobServer初测

Spark as a Service之JobServer初测来源：互联网作者：佚名时间：2015-01-19 08:25spark-jobserver提供了一个用于提交和管理Apache Spark作业(job)、jar文件和作业上下文（SparkContext）的RESTful接口。该项目位于git（https://github.com/ooyala/spark-

2015-11-17 16:06:19 971

转载 Redis 横向扩展案例

Redis 横向扩展案例时间 2015-11-09 23:13:03 DBA@Robin原文 http://dbarobin.com/2015/11/09/scale-out-of-redis-with-twemproxy/ 主题 Redis 文/温国兵0x00 目录0x00 目录 0x01 背景介绍 0x02 分析解决2.1 初步

2015-11-11 09:01:03 1230

转载 Redis编程实践【pub/sub】

Redis编程实践【pub/sub】博客分类：Redis Redis或许已经在很多企业开始推广并试水，本文也根据个人的实践，简单描述一下Redis在实际开发过程中的使用（部署与架构，稍后介绍），程序执行环境为java + jedis，关于spring下如何集成redis-api，稍后介绍吧。前言：下载redis-2.6.2,安装好re

2015-11-10 14:43:19 1654

转载 truncate/drop表非常慢，怎么办？用硬链接，极速体验

truncate/drop表非常慢，怎么办？用硬链接，极速体验这个这个，我必须花巨大篇幅，记录下今天清空表记录的英雄壮举，可知道一个drop操作，执行了一下午啊一下午，这是要急出翔的节奏。。呵呵，下面开始我的需求：某表因历史原因，积压了1亿条记录，约占360G空间。我要清掉它，就是这么简单。尝试1：作为DB小菜，首先想到的，当然是delete命令

2015-11-09 10:18:16 5428 1

转载大数据技术的事件处理上应该如何选择Linux服务器？

大数据技术的事件处理上应该如何选择Linux服务器？大数据技术的事件处理，在系统资源使用上，需要很强的计算能力，如何选择Linux服务器？希望获得：通用方法关注问题7回答8评论8 回答按赞同排序按时间排序loveryue 软件开发工程师 , IBM晓黎

2015-11-07 20:44:11 1113

转载网易云音乐的推荐音乐方式与算法漫谈

网易云音乐的推荐音乐方式与算法漫谈字数3131 阅读8588 评论13 喜欢70网易云音乐在我看来在各方面都是较为出色的音乐APP，网上也有各种体验报告、产品分析，但都比较偏向交互和前端。所以，我决定对其靠后端大功能“推荐音乐和算法”稍作一些探讨。也是因为个人喜好问题，包括我做PD的时候，也喜欢接一些靠后端的项目，所以本文也不太涉及到界面交互方面的东西。网易云音乐希望面向的受众

2015-11-07 13:49:59 5032 1

转载 Spark Streaming 订单关联案例剖析

Spark Streaming 订单关联案例剖析本文将详细介绍如何使用 Spark Streaming 流计算框架并结合 Kafka、Flume 等实时处理搜索词、订单以及订单搜索词来关联系统的设计。6评论：吴阳平, 大数据软件工程师关闭 [x]吴阳平，大数据软件工程师，主要从事 Hadoop 运维，Spark、Flum

2015-11-04 09:37:59 762

转载 Spark Streaming 图片处理案例介绍

Spark Streaming 图片处理案例介绍本文首先介绍了流式处理框架的设计原理、Spark Streaming 的工作原理，然后通过一个基于 Spark Streaming 编写的读取、分析、写入图片的示例帮助读者加深了解 Spark Streaming 的工作原理。2评论：周明耀, 技术带头人、项目经理, HikVision关闭 [x]

2015-11-04 09:03:44 3410

张伟的专栏