- 博客(18)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 远程链接Kafka总是那么个错---Failed to send messages after 3 tries
如果是在同一台机器（localhost），Kafka和Java Client工作正常，Producer和Consumer都能正常发送和接收消息，但是一旦部署到两台机器，则默认配置的话不能正常工作。会出现“kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries”的错误。[2015-07-02
2015-10-31 15:14:47
13251
2
转载 apache kafka系列之在zookeeper中存储结构
目录[-]2.partition状态信息3. Broker注册信息4. Controller epoch: 5. Controller注册信息:6. Consumer注册信息:7. Consumer owner:8. Consumer offset:1.topic注册信息/brokers/topics/[topic] :存
2015-10-29 10:39:05
499
原创 kafka->logstash->es
本片博客的场景：具有一定格式的数据首先被推送到Kafka活着是redis（本实验选择的是Kafka），当数据从Kafka出来之后，被送到Logstash进行简单的处理，然后数据从Logstash出来再被存储进Elasticsearch中。 首先需要说明的一点是，开始用的是Elasticsearch-1.7.1、Logstash-1.5.4、JDK-1.7.0_79，在将es配置成为
2015-10-27 18:20:50
5963
1
原创 linux原来安装jdk，如何让新安装的jdk生效
1.配置默认JDK(一般情况下这一步都可以省略) 由于一些Linux的发行版中已经存在默认的JDK，如OpenJDK等。所以为了使得我们刚才安装好的JDK版本能成为默认的JDK版本，我们还要进行下面的配置。 执行下面的命令： sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.7.0_60/bi
2015-10-27 13:46:36
5076
转载 kafka producer 中partition 使用方式
为了更好的实现负载均衡和消息的顺序性，kafka的producer在分发消息时可以通过分发策略发送给指定的partition。实现分发的程序是需要制定消息的key值，而kafka通过key进行策略分发。 为了更好的弄清楚相关原理，我们从kafka本身提供的分发函数分析： 源代码如下： private[kafka] class DefaultPartitione
2015-10-27 08:47:33
4483
转载 MySQL索引背后的数据结构及算法原理
摘要本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。文章主要内容分为三个部分
2015-10-25 11:09:45
656
原创 ES的操作的整理1
package com.test.es;import java.io.IOException;import java.util.concurrent.ExecutionException;import org.codehaus.jackson.map.ObjectMapper;import org.elasticsearch.ElasticsearchException;import
2015-10-23 10:52:24
690
转载 elasticsearch 配置详解
elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。 配置es的集群名称，默认是elas
2015-10-22 14:37:02
751
原创 sbt打包WordCount的过程
1.在安装有spark的客户端上安装sbt（请参考上一篇博客）2.在一台slave终端机的/home/hadoop1/xuguokun/下创建WordCount文件夹。3.创建build.sbt文件，该文件的里面的内容如下：name := "o2o-spark"version := "0.1"scalaVersion := "2.10.4"libraryDependencies
2015-10-20 11:03:14
1207
原创 SBT安装
1、下载sbt通用平台压缩包：sbt-0.13.5.tgz2、建立目录，解压文件到所建立目录12$ sudo mkdir /home/scala/sbt$ sudo tar zxvf sbt-0.13.5.tgz -C /opt/scala/ 3、建立启动sbt的脚本文件/*选定一个
2015-10-19 18:17:39
692
转载 【问底】Michael G. Noll：整合Kafka到Spark Streaming——代码示例和挑战
【编者按】作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。期间， Michael还提到了将Kafka整合到Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1
2015-10-15 17:18:11
490
原创 Scala之Demo2
1.socket服务端package com.test.sparkstreamingimport java.io.ObjectInputStreamimport java.io.IOExceptionimport java.net.SocketExceptionimport java.io.DataInputStreamimport java.net.Socketimport j
2015-10-15 09:31:11
303
原创 Scala之Demo1
1.创建Connection的object，在scala里面称为单例对象package com.testimport java.sql.DriverManagerimport java.sql.Connectionobject SingleMySqlConn { private var driver = "com.mysql.jdbc.Driver" private var
2015-10-14 16:23:20
387
原创 kafka的主要配置
1. Broker相关配置##broker标示，id为正数，且全局不得重复broker.id=1##日志文件存储位置log.dir=/kafka/logs##broker需要用zookeeper保存meta信息zookeeper.connect=192.168.100.104:9092, 192.168.100.105:9092,192.168.100.106:9092
2015-10-13 16:09:25
409
原创 java中String对象的split方法的小陷阱
问题出现的代码段： try { FileReader fr; try { fr = new FileReader("C:\\TxtData\\NetFlowAttackDDOS\\import.csv");
2015-10-12 17:43:27
615
原创 递归和尾递归
递归大家都不陌生，一个函数直接或间接的调用它自己，就是递归了。我们来看一个简单的，计算阶乘的例子。def factorial(n: Int): Int = { if( n 1 ) 1 else n * factorial(n-1)}以上factorial方法，在n>1时，需要调用它自身，这是一个典型的递归调用。如果n=5，那么该递归调用的过程大致如下： fact
2015-10-11 20:28:22
500
原创 Mongodb的相关文档整理（一）
1. 目前的集群环境Master：192.168.100.103Slave：192.168.100.104Slave：192.168.100.105Arbiter：192.168.100.1062. 集群启动方法2.1 Master：192.168.100.103在/home/bms/mongodb-3.0.5目录下执行以下命令./mon
2015-10-11 19:40:15
326
转载 MongoDB集群搭建及Sharding的实现思路
MongoDB集群搭建MongoDB的复制集群类型：·主从模式(master/slave)·副本集模式（replica set）副本及模式至少3个节点（一主二从），从节点负责复制主节点的oplog到本地并且应用到本地从而实现冗余。（·arbiter：仅参与选举，但不持有任何数据·0优先级：可以触发选举，但是不能被选举成为主节点·可以使用rep
2015-10-08 18:23:31
574
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人