yazi-xp-CSDN博客

原创 hbase遇到元数据缺失，hbase:namespace加载错误，hbase启动不了

####背景####hbase-2.0.0-alpha4jdk1.8.0_151zookeeper-3.4.9####问题描述####因为某种原因，已经部署好的环境，突然报错2017-12-06 17:12:22,399 WARN [RSProcedureDispatcher-pool3-t2] procedure.RSProcedureDispatche

2017-12-07 11:38:23 3621

原创分别用docker和物理机器部署redis+sentinel

####本文档包括两种redis+sentinel的部署方式，docker的和物理机的。########设想#192.168.137.152docker（redis-server） myresque 192.168.137.142docker(redis-sentinel) sentinel152#192.168.137.153docker(redis-se

2017-07-19 17:08:55 484

原创 Hive 1.2.1000.2.5.3.0-37 跑join语句报错

####情景select t1.acc_nbr,t1.imsi,t2.x1,t2.y1,t2.x2,t2.y2,t2.gid1,t2.gid2 from xjb.gz_circle_acc_nbr_imsi t1 join xsx.xsx_cdr_t4_2 t2 on t1.imsi=t2.imsi limit 10; /tmp/etl/hive.log

2017-07-13 11:29:54 519

原创 java 单线程读取大文件10G

思考：如果不考虑多线程，分布式的话，要高效的毒如和写出大文件，主要是解决读文件和写文件的磁盘IO问题，通过批量读取和批量写出来实现。/* * 该方法实现了批量输入，批量输出。 * 输入文件大小：15G（31036260行），输出文件大小：4.1G（31036260行）,insize=200M,outPerCount=10000 * --begin:2017-06-1

2017-06-16 17:01:46 955

原创不同hadoop版本之间迁移数据存在问题， Check-sum

####场景从hadoop2.6传数据到hadoop2.7，遇到了下面问题。####报错信息Caused by: java.io.IOException: Couldn't run retriable-command: Copying webhdfs://132.121.97.48:50070/glabel/data/201407/20140710/signal-dwe

2017-04-14 15:09:33 2751

原创 ftpclient获取数据流问题

很多时候ftp采集数据时候需要通过ftp服务器到stream的方式，然后后面可以接入hdfs/本地文件等等。这样实现文件的采集，但是在使用时候要注意各个原生方法的区别。1public boolean retrieveFile(String remote, OutputStream local) th

2017-03-22 14:22:59 4662

原创 crontab根据定时检测程序状态，重启程序

*/15 * * * * cd /home/zhengrx/bin && ./keep_alive.sh如果改成*/15 * * * * sh /home/zhengrx/bin/keep_alive.shdf后，keep_alive.sh 中nohup /home/zhengrx/bin/gpipe_realtime.sh >> /home/zhengrx/log

2017-03-08 10:00:02 597

转载 shell脚本直接执行没有问题，crontab定时执行失败的解决方法

转自：http://blog.csdn.net/jkunzhang/article/details/7440215在实行一个shell脚本（调用java程序修改一个excel文件）时，单独sh可以得到想要的结果。但是放到crontab定时执行后，却没有得到一个新的excel文件，log也没有报错。查看了路径，文件权限都没有问题，最后在网上查了一下，发现这样可以解决问题：将c

2017-03-07 23:42:27 509

原创 Hadoop启动脚本

*************************************************************************************************************####参考材料####Hadoop启动脚本全解析，不能再全了！[bed]:http://blog.csdn.net/qq824387335/article/details/

2016-11-21 12:02:54 417

原创 ntp时间服务器详解

*************************************************************************************************************####参考材料####ntp时间服务器理论篇：http://www.linuxidc.com/Linux/2013-11/92275.htmntp的相关链接：http:

2016-11-18 10:29:26 2190 1

原创 tomcat配置

Tomcat配置一、常见的Java内存溢出有以下三种： 1. java.lang.OutOfMemoryError: Java heap space ----JVM Heap（堆）溢出JVM在启动的时候会自动设置JVM Heap的值，其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)不可超过物理内存。可以利用JVM提供的-

2016-10-31 10:02:12 167

原创 tomcat日志解析

localhost_access_log.2016-10-25.txt ----各工程和tomcat交互的记录catalina.out ----控制台输出的日志catalina.2016-10-25.log ----catalina引

2016-10-25 09:10:00 270

原创 mysql存储过程和游标使用实例

BEGIN-- 需要定义接收游标数据的变量 DECLARE keysa varchar(50); DECLARE feesa double; DECLARE keyl varchar(50); DECLARE feel double; -- 遍历数据结束标志 DECLARE done INT DEFAULT 0; -- 游标 DECLARE cur CUR

2016-10-21 15:12:23 352

原创获取jar的路径

public static String getPath() { // jar path :/home/zhengrx/lib/test.jar result of getPath():/home/zhengrx/lib URL url = GpipeInit.class.getProtectionDomain().getCodeSource() .getLocation();

2016-09-12 15:37:16 256

原创 mysql批处理性能优化

参考了：http://blog.csdn.net/tolcf/article/details/52102849后来根据自己情况测试一次，结果如下。1、mysql insert ####第一种测试情况batchSize = 5000;connection.setAutoCommit(false);prepStatement.addBatch();

2016-09-10 17:35:56 1122

原创子类父类-静态语句块-构造语句块-构造函数-执行顺序

1、【代码1】考查静态语句块、构造语句块（就是只有大括号的那块）以及构造函数的执行顺序2、对象的初始化顺序：（1）类加载之后，按从上到下（从父类到子类）执行被static修饰的语句；（2）当static语句执行完之后,再执行main方法；（3）如果有语句new了自身的对象，将从上到下执行构造代码块、构造器（两者可以说绑定在一起）。3、其他方法如notRunMe()是不会被执

2016-07-11 01:46:37 402

原创 synchronized 的用法

tttpackage testPackage;public class Test {public static int count = 0;public synchronized static void inc(Thread thread) {// 这里延迟1毫秒，使得结果明显try {Thread.sleep(5);} catch (InterruptedException e) {

2016-07-11 00:59:58 194

原创从.equal()和==来区别

1. 关于equals()和==:equals()，这个对于String简单来说就是比较两字符串的Unicode序列是否相当，如果相等返回true;而==是比较两字符串的地址是否相同，也就是是否是同一个字符串的引用。2、【例子1】说明==是用来判断两个字符串的地址是否相同；String s3="kv" + "ill";s3是字符串常量，如果是字符串常量无论“==”或equa

2016-07-11 00:07:50 187

原创 20160708_tomcat下部署两个工程

####1、方法：用不同的端口来区分不同的工程要求：1、有多个webapp目录，或者一个webapp目录但是需要在server.xml里面配置清楚不同工程的不同目录2、server.xml里面，<Service name 、3、工程里面的web.xml的webAppRootKey需要指定实例：1、如下【代码3】所示有两个Service，两个HTTP/1.

2016-07-08 14:42:30 206

原创 20150827_tomcat架构_Server.xml详解

参考：http://www.cnblogs.com/gugnv/archive/2012/02/01/2334187.html

2015-08-27 00:47:05 218

原创 20150818-苹果5刷固件、升4g

步骤：1、查询可以验证的固件版本，然后通过外网下载对应固件。2、升级最新的itunes。3、手机进入dfu模式，然后通过itunes刷入系统4、下载同步助手，准备开始越狱5、开始添加源，下载插件破解4g---------------------------------------------------------------------------------

2015-08-18 02:16:28 937

原创 20150814-hadoop学习笔记

1、hadoop 1.0 的 MapReduce作业机制可以通过一行代码来运行一个MapReduce作业。客户端：提交MapReduce作业。jobtracker：协调作业的运行。jobtracker是一个java应用程序，他的主类是JobTracker。tasktracker：运行作业划分后的任务。tasktracker是java应用程序，他的主类是TaskTracker。分布式

2015-08-14 10:13:18 361

原创 20150813-java学习笔记

1、接口与抽象类的区别面对对象的设计，复用的重点其实应该是抽象层的复用，而不是具体某一个代码块的复用。最大的区别：抽象类能提供某些方法的部分实现，而java接口不可以（意思就是interface只能定义方法，而不能有方法的实现，而在abstract class中则可以既有方法的具体实现，又有没有实现的抽象方法），如果一个抽象类加入了新的具体方法时，那么它所有的子类都得到了这个新方法，而

2015-08-13 16:27:30 206

原创 20150812-Mapreduce笔记

Mapreduce笔记1、map函数可以作为一个数据准备阶段（去除已损记录，筛选掉错误的数据），reduce在该准备数据上继续处理。2、Mapreduce数据处理样例：Map阶段：对数据进行筛选根据键对键/值对进行排序和分组Reduce阶段（找出其中最大的数）：

2015-08-12 15:35:48 264

原创 Maven的安装和配置

本文介绍Maven的安装和配置，开发工具是eclipse1.首先需要安装jdk,eclipse。然后到maven官网下载maven，http://maven.apache.org/download.html我下载的是3.3.32.将压缩包解压，路径中不要包含中文，我解压的路径是 C:\Program Files\Java\apache-m

2015-08-12 10:25:09 436

qq824387335的博客