2016年09月_徴心

12月 11月 10月 09月

转载浅谈Java String内幕

前言String字符串在Java应用中使用非常频繁，只有理解了它在虚拟机中的实现机制，才能写出健壮的应用，本文使用的JDK版本为1.8.0_3。常量池Java代码被编译成class文件时，会生成一个常量池（Constant pool）的数据结构，用以保存字面常量和符号引用（类名、方法名、接口名和字段名等）。pack

2016-09-29 22:00:37 321

转载海量数据笔试题汇总

昨天去某东面试,面试阶段感觉还可以,但是到了笔试有几个关于海量数据的问题把我难住了.上网找了些相关的笔试题,有时间看看。海量数据面试题整理　　1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？　　方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内

2016-09-29 13:21:16 305

转载 Zookeeper学习(Curator使用)

Curator框架是最好用，最流行的zookeeper的客户端。它有以下三个优点 1.提供了一套非常友好的操作API; 2. 提供一些高级特性（包括但不仅限于前篇文章中提到的）的封装 3.易测试 maven依赖如下<dependency> <groupId>org.apache.curator</groupId> <artifactId>curator-recip

2016-09-27 15:56:04 413

转载 zookeeper学习（高级特性）

CreateMode 在create的时候可以设置znode的类型主要有四种： PERSISTENT (持续的，相对于EPHEMERAL，不会随着client的断开而消失)PERSISTENT_SEQUENTIAL（持久的且带顺序的）EPHEMERAL (短暂的，生命周期依赖于client session)EPHEMERAL_SEQUENTIAL (短暂的，带顺序的)Watcher

2016-09-27 15:46:43 485

原创 Linux相关(Yum源搭建--基于FTP)

本文主要说明内网环境Centos6.4系统yum源的搭建。将系统盘放入光驱执行mount -o loop /dev/cdrom /mnt/cdrom 将系统盘中的rpm挂载到本地执行mkdir -p /var/ftp/yum/CentOS6.4 创建ftp目录下的本地rpm路径执行cp -r /mnt/cdrom/* /var/ftp/yum/CentOS6.4/将系统盘中的rpm拷贝到刚才

2016-09-27 13:20:30 541

原创 JAVA技术提高(JMX监控)

JMX（Java Management Extensions，即Java管理扩展）是一个为应用程序、设备、系统等植入管理功能的框架。JMX可以跨越一系列异构操作系统平台、系统体系结构和网络传输协议，灵活的开发无缝集成的系统、网络和服务管理应用。实际上来说我们可以用jmx来监控一些java应用的运行情况，还有自己写的一些服务类的应用。下面链接有详细说明 https://stevene

2016-09-27 13:01:17 1049

原创 java远程debug(基于eclipse)

由于在某些情况下,源码不全,或者有部分源码,这种时候就可以运用远程调试去解决,比如在前段时间写了一个flume的intercept，在上线过程中发现了intercept并没有生效,这种时候就用到了远程调试,发现并解决了问题。以下说明如何应用远程debug – 在JAVA虚拟机启动时添加如下参数-Xdebug -Xnoagent -Xrunjdwp:transport=dt_socket,a

2016-09-27 11:59:46 399

原创使用Jconsole观察JVM

前段时间做有关于Flume入库程序的调试,用到了Jdk自带的调试工具–jconsole.exe,现在做一下记录也方便没有接触过的同学有一个好的入门。如果想使用jconsole.exe调试jvm主要有两个方面。配置想要通过jconsole连接的java程序的jvm启动参数本文已tomcat为例,其他程序也一样修改$TOMCAT_HOME/bin/catalina.sh 在JAVA

2016-09-27 10:34:32 588

原创 Windows环境ProtocolBuffer安装及入门使用

准备工作及所需软件将protoc-2.5.0-win32.zip解压到系统任意目录, protobuf-java-2.5.0.jar放置到同一目录,并配置环境变量,执行下图命令,如果结果与下图一致则环境准备完成。编写proto文件package S003;option java_package = "S003"; \\指定java的报名option java_outer_classna

2016-09-26 17:44:39 1936

原创 Kafka重启报Corrupt index found,index file

Kafka重启后启动报以下错误java.lang.IllegalArgumentException: requirement failed: Corrupt index found, index file (/home/sca_bj/jade/kafka_2.9.2-0.8.2.1/kafka-logs/test-0/00000000000000000009.index) has non-zero

2016-09-26 17:29:38 1273

原创 Sqoop 实际应用及样例

Sqoop 实际应用及自定query导出前置条件已经成功安装配置Hadoop以及Sqoop和Mysql数据库服务器，如果将数据导入或从Hbase导出，还应该已经成功安装配置Hbase。示例如何将Oracle中的数据导出到Hdfs中,query参数中为导出的查询sql，如查询语句中有where 条件则最后追加 and \$CONDITIONS nohup /home/hadoop/sqoop/

2016-09-26 17:23:26 517