- 博客(52)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Kylin增量cube build的restAPI的时间不准确的BUG
Kylin1.6增量cube build的restAPI的时间不准确的bug:描述：使用restAPI:curl -X PUT -u "ADMIN:KYLIN" -H "Content-Type:application/json;charset=utf-8" -d '{"startTime":1508601600000,"endTime":1508688000000,"buildType"
2017-10-20 10:54:12
3452
5
原创 Kylin 源码阅读之补充API Documnet
Kylin API Documnet官网API文档官网中的api文档提供Cube、Job、Query、Metadata等接口说明：kylin-base-api补充API文档Project APIproject base url:http://{host}:{port}/kylin/api/projectscreate projectrequest: POST http://{host}:{p
2017-09-25 18:12:57
1097
3
原创 sparkSQL读取hive分区表的问题追踪
示例读取的table格式为parqut格式，异常堆栈信息：java.lang.OutOfMemoryError: GC overhead limit exceededat java.lang.StringBuilder. at java.io.ObjectStreamClass.getClassSignature(ObjectStreamClass.java:1458)at java.
2017-05-26 10:11:46
6762
原创 New Memory allocation 1046759 bytes is smaller than the minimum allocation size of 1048576 bytes.
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 3.0 failed 4 times, most recent failure: Lost task 0.3 in stage 3.0 (TID 78, hdp57.car.bj2.yongche.com): org.apache.h
2017-04-14 18:01:43
5621
原创 canal-client的HA功能验证
测试题目：canal-client的HA功能验证测试平台：CentOS Linux release 7.1.1503 (Core) mariadb版本：10.1.14-MariaDB Canal版本：1.0.23测试方案：在测试机部署两台canal-server,配置为：172.17.1.181:22220和172.17.1.181:22221部署一台mariadb:172.17.
2016-10-26 14:25:58
1950
原创 Canal-Server的HA功能验证
测试项目：canal的HA功能验证测试平台：CentOS Linux release 7.1.1503 (Core) Mysql测试版本：5.6.24-72.2-log Canal版本：1.0.22测试方案：在测试机部署两台canal-server,配置为：172.17.1.181:11121和172.17.1.181:11120部署一台mysql:172.17.1.181:330
2016-10-20 18:59:35
3790
2
原创 canalserver1.0.22基于mariadb10.1.14的HA功能bug
测试描述：canalserver1.0.22基于mariadb10.1.14的HA功能不好用，部署两台canaserver当其中一台server挂掉后，zookeeper已经切换到新的canalserver，但新的canalserver获取的binlogname不正确导致读取mariadb的binlog错误。mariadb中binlog名字：(canal@127.0.0.1) [canal
2016-10-20 18:02:19
926
原创 impala的APPX_COUNT_DISTINCT参数
这个参数APPX_COUNT_DISTINCT=true，可以在一个select 有多条count子句，select count(id),count(pid) from t group by name,使用注意，官网说明：Allows multiple COUNT(DISTINCT) operations within a single query, by internally
2016-07-28 15:12:13
4718
转载 Hadoop YARN架构设计要点
转-原文地址：http://shiyanjun.cn/archives/1119.htmlYARN是开源项目Hadoop的一个资源管理系统，最初设计是为了解决Hadoop中MapReduce计算框架中的资源管理问题，但是现在它已经是一个更加通用的资源管理系统，可以把MapReduce计算框架作为一个应用程序运行在YARN系统之上，通过YARN来管理资源。如果你的应用程序也需要借助YARN的
2016-05-19 17:19:06
1516
转载 Hadoop 2.0 Yarn代码：NodeManager端代码分析_NM端各服务模块的启动
Hadoop 2.0 Yarn代码：NodeManager端代码分析_NM端各服务模块的启动1.概览以下介绍的NodeManager是如何启动和注册各个服务的主要涉及的Java文件hadoop-yarn-server-nodemanager下的包org.apache.hadoop.yarn.server.nodemanager NodeManager.
2016-05-19 17:09:05
478
转载 Python爬虫：一些常用的爬虫技巧总结
目录[-]1、基本抓取网页get方法post方法2、使用代理IP3、Cookies处理4、伪装成浏览器5、页面解析6、验证码的处理7、gzip压缩8、多线程并发抓取 用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本
2016-04-01 13:39:13
2481
转载 IntelliJ IDEA的光芒会盖过Eclipse吗
作为一个资深的Eclipse用户，我想对IntelliJ IDEA做一个更为严谨的审视。JetBrains的工作人员非常的友善，并为Podcastpedia.org和Codingpedia.org这两个 工程给予了我一个开放源码的许可证。在这片文章中，我列出来Eclipse中常用且与IntelliJ等同的一些操作。写这篇文章为了以后遗忘时能够再用 做个记录，也为或许能帮助到其他的人。快捷键
2015-04-27 09:24:34
632
原创 idea、jdk、eclispe中空main方法的线程数量不一样，why?
测试代码：public class Test { public static void main(String[] args) { System.out.println(Thread.activeCount()); }}idea运行，输出为“2”eclispe运行，输出为“1”jdk编译运行，输出为“1”
2015-03-20 10:18:42
2253
3
转载 20个非常有用的Java程序片段
下面是20个非常有用的Java程序片段，希望能对你有用。1. 字符串有整型的相互转换String a = String.valueOf(2); //integer to numeric string int i = Integer.parseInt(a); //numeric string to an int2. 向文件末尾添加内容BufferedWriter ou
2015-03-17 09:50:02
410
转载 10分钟学会理解和解决MySQL乱码问题
本文将详细介绍MySQL乱码的成因和具体的解决方案MySQL出现乱码的原因要了解为什么会出现乱码，我们就先要理解：从客户端发起请求，到MySQL存储数据，再到下次从表取回客户端的过程中，哪些环节会有编码/解码的行为。为了更好的解释这个过程，博主制作了两张流程图，分别对应存入和取出两个阶段。存入MySQL经历的编码转换过程上图中有3次编码/解码的过程（红色箭头
2015-03-11 09:36:02
437
转载 Java容器类型使用总结
最近抽空把java.lang下面常用的那些容器类型（数据结构）复习了一下，这些东西是基础，平时使用的时候也可以很容易查得到，有些方法大概知道，但是总是弄混，如果可以记住那些重要方法，并且能够熟练使用的话，还是可以让编码过程变得容易很多。另外一个是实现机制，对于常用数据结构的实现机制，应该说是必须要熟知的。另外，并发容器我之前整理过，放在这篇文章里。Queueadd和offe
2015-02-25 09:30:51
433
转载 warSourceExcludes和packagingExcludes参数配置
项目中在打包的时候时常要忽略一些只在本地使用的文件，比如一些test文件夹或者本地配置，刚刚开始使用maven-war-plugin的warSourceExcludes和packagingExcludes这两个参数还真是搞得有点晕，多试验了几次明白了，现在分享一下我的理解。引用官网的说明：**/application*.properties,**/spy.propertiestest/
2015-02-04 13:43:18
7573
转载 Java内部类的一些使用与梳理
有这篇文章，纯属巧合；那天在使用中突然发现 Java 内部类中还分 static ，说实话平时都在用，但是就是没有注意到；感觉有必要总结一下。有必要说一下的是本文纯属浅析，如有补充还请在评论中指出，欢迎总结。内部类的位置public class A { class B { } public void pint() { class C { } new C()
2015-01-31 19:34:20
427
转载 Java Servlet完全教程
Servlet 是一些遵从Java Servlet API的Java类，这些Java类可以响应请求。尽管Servlet可以响应任意类型的请求，但是它们使用最广泛的是响应web方面的请求。 Servlet必须部署在Java servlet容器才能使用。虽然很多开发者都使用Java Server Pages（JSP）和Java Server Faces（JSF）等Servlet框架，但是这些技术都要在
2015-01-27 10:37:23
427
转载 11个实用经典的SQL小贴士
写在前面的话：之前做的一个项目，数据库及系统整体构架设计完成之后，和弟兄们经过一段时间的编码，系统如期上线，刚开始运行一切良好，后来随着数据量的急剧膨胀，慢慢出现了很多莫名其妙的问题，经过调试，修改了数据库中几个存储过程的一些问题。有意思的是，有一个存储过程里，为了实现一个小的功能，写了好多好多的代码，又是游标又是循环的，其实用系统的一个默认函数就能解决掉。这里想说的是，学习工作之余，在没有要解决
2015-01-15 17:04:14
659
转载 Java使用内存映射实现大文件的上传
在处理大文件时，如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 来进行频繁的读写操作，都将导致进程因频繁读写外存而降低速度.如下为一个对比实验。package test; import java.io.BufferedInputStream; import java.io.FileInputStream;
2015-01-12 10:17:32
542
转载 Java程序员必须掌握的8大排序算法
本文主要详解了Java语言的8大排序的基本思想以及实例解读，详细请看下文8种排序之间的关系:1， 直接插入排序（1）基本思想：在要排序的一组数中，假设前面(n-1)[n>=2] 个数已经是排好顺序的，现在要把第n个数插到前面的有序数中，使得这n个数也是排好顺序的。如此反复循环，直到全部排好顺序。（2）实例（3）用java实现
2015-01-12 10:01:18
385
转载 jvm内存调优
首先需要注意的是在对JVM内存调优的时候不能只看操作系统级别Java进程所占用的内存，这个数值不能准确的反应堆内存的真实占用情况，因为GC过后这个值是不会变化的，因此内存调优的时候要更多地使用JDK提供的内存查看工具，比如JConsole和Java VisualVM。对JVM内存的系统级的调优主要的目的是减少GC的频率和Full GC的次数，过多的GC和Full GC是会占用很多的系统资源
2015-01-09 11:57:27
438
转载 JVM内存管理和垃圾回收
JVM内存组成结构JVM栈由堆、栈、本地方法栈、方法区等部分组成，结构图如下所示：1）堆所有通过new创建的对象的内存都在堆中分配，其大小可以通过-Xmx和-Xms来控制。堆被划分为新生代和旧生代，新生代又被进一步划分为Eden和Survivor区，最后Survivor由From Space和To Space组成，结构图如下所示：新生代。新建的对象都是用新生代分配内存，
2015-01-09 11:54:28
428
转载 Tomcat内存溢出，修改配置
使用Java程序从数据库中查询大量的数据时出现异常:java.lang.OutOfMemoryError: Java heap space在JVM中如果98％的时间是用于GC且可用的 Heap size 不足2％的时候将抛出此异常信息。JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.JVM在启动的时候会自动设置Heap size的值，其初始空间(即-Xms)
2015-01-09 10:44:46
447
原创 hive创建表
正常创建表：create table test(id int, name string, age string, tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE;load命令可以将hdfs上和本地文件系统中的文件添加hive表中，注意确保列分隔符和创建表的分隔符一样：test.txt
2015-01-07 16:28:39
10208
转载 Java中有关Null的9件事
对于Java程序员来说，null是令人头痛的东西。时常会受到空指针异常（NPE）的骚扰。连Java的发明者都承认这是他的一项巨大失误。Java为什么要保留null呢？null出现有一段时间了，并且我认为Java发明者知道null与它解决的问题相比带来了更多的麻烦，但是null仍然陪伴着Java。我越发感到惊奇，因为java的设计原理是为了简化事情，那就是为什么没有浪费时间在指针、操作符重载
2014-12-31 16:43:34
378
转载 java面试中常用的排序算法
一、冒泡排序 [java] view plaincopyprint?package sort.bubble; import java.util.Random; /** * 依次比较相邻的两个数，将小数放在前面，大数放在后面 * 冒泡排序，具有稳定性 * 时间复杂度为O（n^2） * 不及
2014-12-21 18:56:39
479
转载 Java字符串的substring真的会引起内存泄露么？
在Java中开发，String是我们开发程序可以说必须要使用的类型，String有一个substring方法用来截取字符串，我们想必也常常使用。但是你知道么，关于Java 6中的substring是否会引起内存泄露，在国外的论坛和社区有着一些讨论，以至于Java官方已经将其标记成bug，并且为此Java 7 还重新进行了实现。读到这里可能你的问题就来了，substring怎么会引起内存泄露呢？那么
2014-12-21 17:42:21
596
转载 hbase shell命令
进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> whoami表的管理1
2014-11-20 15:18:54
738
原创 hbase无法启动Regionserver：ClassNotFoundException: org.apache.hadoop.util.PlatformName问题解决
java.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.regionserver.HRegionServer at org.apache.hadoop.hbase.regionserver.HRegionServer.constructRegionServer(
2014-11-20 11:50:33
13956
原创 hbase无法启动： HBase requires Java 1.6 or later.
slave1: +======================================================================+ slave1: | Error: JAVA_HOME is not set and Java could not be found | slave1: +--------------------------------------
2014-11-20 11:49:40
3481
原创 hadoop集群安装hbase
1.首先我已搭建好hadoop2.2.0分布式集群、zookeeper3.4.6集群 hadoop2.2.0集群：http://blog.csdn.net/xiaolinzi007/article/details/40921581 zookeeper3.4.6集群：http://blog.csdn.net/xiaolinzi007/article/details/4128222
2014-11-20 11:46:36
407
原创 安装zookeeper集群
1.安装zookeeper版本为：zookeeper-3.4.6.tar.gz，下载地址：http://zookeeper.apache.org/2.安装zookeeper集群还是比较简单的，具体步骤如下： (1)解压压缩包zookeeper-3.4.6.tar.gz：tar zvxf zookeeper-3.4.6.tar.gz (2)进入zookeeper配置目录修改配
2014-11-19 15:05:25
534
原创 hadoop集群无法启动datanode节点
我遇到的这种问题是由于我多次格式化namenode造成的，后来启动hadoop集群namenode、SecondaryNameNode都起来了，然后到datanode节点执行jps指令，发现所有的datanode节点都没有起来。我的解决办法看datanode节点日志：java.io.IOException: Incompatible clusterIDs in /usr/h
2014-11-17 17:19:46
1119
转载 redis配置文件参数说明
# By default Redis does not run as a daemon. Use 'yes' if you need it.# Note that Redis will write a pid file in /var/run/redis.pid when daemonized.#Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程（守护进程
2014-11-15 18:57:02
423
原创 centOS6.5-64位系统下编译hadoop2.2.0源码解决依赖本地库问题
1.需要安装jdk、maven、protoc2.5.0环境，下载hadoop2.2.0、protoc2.5.0等源码包2.jdk、maven安装并配置环境变量很简单，这里不介绍。3.安装protoc依赖的gcc等支持： (1)yum install gcc (2)yum intall gcc-c++ (3)yum install make (4)y
2014-11-14 22:40:20
656
原创 CentOS6.5命令行下安装X图形界面系统
1.系统环境：VMware虚拟机，操作系统centOS6.5-x86_642.将CentOS-6.5-x86_64-bin-DVD1.iso镜像挂载到虚拟机上： 配置下vmware虚拟机： 3.添加到将镜像添加yum源中： (1)新建目录：mkdir /media/os (2)将镜像挂载到/media/os目录：mount /de
2014-11-09 12:19:45
4031
原创 hadoop2.2.0完全分布式集群搭建
1.安装环境，使用vmvare四台虚拟机，操作系统centOS6.5-x86_64: (1)ip：192.168.169.10 , hostname：master #做为hadoop集群的master 配置：1核1G (2)ip：192.168.169.11 , hostname：slave1 #做为had
2014-11-08 15:59:50
570
原创 linux下ssh无密码登陆配置
配置SSH免密码登陆： (1)在master主机上生成秘钥：ssh-keygen -t rsa -P '' (2)把id_rsa.pub追加到授权的key里面去：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys (3)修改authorized_keys文件权限：chmod 600 ~/.ssh/authorized_k
2014-11-07 22:45:10
493
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人