- 博客(18)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 hbase环境搭建,启动之后HMaster挂掉,或者是集群里,只启动了HMaster节点,HRegionServer节点没有启动的问题
搭建虚拟机的集群,5个节点,结果各种报错,各种坑爹!版本是hbase0.98.13-hadoop2,总结一下问题!第一:htrace-core的问题!有2个htrace-core文件,一个是hbase lib下的,一个是hadoop里面的,版本号不一致,开始我还以为这2个是一个文件,然后删除了版本低的,结果就是一启动HMaster节点就自动挂了,然后报了一个.忘记截图了,反正报缺少类了,后
2015-07-20 00:10:26
6632
原创 eclipse连接hbase异常KeeperErrorCode = ConnectionLoss for /hbase/meta-region-server
换了一台电脑,通过windows上的连接hbase的时候,报java.io.IOException: Attempt to start meta tracker failed. at org.apache.hadoop.hbase.catalog.CatalogTracker.start(CatalogTracker.java:204) at org.apache.hadoop.hbase
2015-07-20 00:04:19
13434
转载 两种常用的线程模型
两种线程模型： 1、生产者-消费者模型 ，就是由一个线程生产任务，而另外一个线程执行任务，二个线程之间有一个共享数据区，这种数据结构可以用队列来表示，但是必须是并发同步的，也就是就共享数据队列同一时间只能允许一个线程进行访问。这种机制叫做同步访问，在JAVA里面用关键字synchorinized 来标识对象是同步并发访问的。 生产者/消费者模式是一种很经典的线程同步模
2015-03-07 21:16:58
568
转载 java多线程中join方法的理解
thread.Join把指定的线程加入到当前线程，可以将两个交替执行的线程合并为顺序执行的线程。比如在线程B中调用了线程A的Join()方法，直到线程A执行完毕后，才会继续执行线程B。t.join(); //使调用线程 t 在此之前执行完毕。t.join(1000); //等待 t 线程，等待时间是1000毫秒 先上一段JDK中代码： Java代码
2015-03-07 21:15:42
458
原创 linux crontab执行oracle定时备份的问题
在自己写shell脚本对oracle做定时备份的时候,遇到了一个问题!明明脚本单独测试的时候正常,crontab也启动了,也去执行了脚本,问题就是没有成功,也没有看到报错!后来找个一下资料,才发现脚本里要写ORACLE_HOME以及sid等环境.坑了
2014-12-31 09:12:39
669
转载 hive 创建/删除/截断 表(翻译自Hive wiki)
这里罗列常用操作，更多参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create%2FDrop%2FTruncateTable 简单的创建表create table table_name ( id int,
2014-11-26 13:53:50
436
转载 hive文件存储格式
hive文件存储格式包括以下几类：TEXTFILESEQUENCEFILERCFILE自定义格式其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。SequenceFile,RCFile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中，然后再从textfile表
2014-11-26 12:40:32
339
转载 hive 中 Order by, Sort by ,Dristribute by,Cluster By 的作用和用法
order byorder by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set hive.mapred.mode=strict; order b
2014-11-26 12:37:00
330
转载 hive的hive.exec.parallel参数说明
hive.exec.parallel参数控制在同一个sql中的不同的job是否可以同时运行,默认为false.下面是对于该参数的测试过程:测试sql:select r1.afrom ( select t.a from sunwg_10 t join sunwg_10000000 s on t.a=s.b) r1 join (select s.b fr
2014-11-26 11:17:06
710
原创 hive连接mysql异常
今天配置hive连接mysql时一直报这个问题FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user 'root'@'hadoop1' (using password: YES)NestedThrowables:java.sql.SQLException: Access de
2014-11-26 09:45:55
676
转载 SequenceFile文件
SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。目前，也有不少人在该文件的基础之上提出了一些HDFS中小文件存储的解决方案，他们的基本思路就是将小文件进行合并成一个大文件，同时对这些小文件的位置信息构建索引。不过，这类解决方案还涉及到Hadoop的另一种文件格式——MapFile文件。SequenceFile文件并不保证
2014-11-25 15:07:39
396
转载 使用FileSystem类进行文件读写及查看文件信息
这一节我们要深入了解Hadoop的FileSystem类——这是与与hadoop的文件系统交互的重要接口。虽然我们只是着重于HDFS的实现，但我们在编码时一般也要注意代码在FileSystem不同子类文件系统之间的可移植性。这是非常有用的，比如说你可以非常方便的直接用同样的代码在你的本地文件系统上进行测试。使用hadoop URL读数据从hadoop文件系统中读取文件的最简单的方法
2014-11-22 14:15:26
4616
1
转载 快学Scala习题解答—第三章 数组相关操作
4 数组相关操作 4.1 编写一段代码，将a设置为一个n个随机整数的数组，要求随机数介于0(包含)和n(不包含)之间random和yield的使用import scala.collection.mutable.ArrayBufferimport scala.math.randomdef randomArray(n:Int):Array[Int]={
2014-11-06 23:07:16
529
原创 配置spring4+spring mvc+hibernate4+hadoop1.2
打算做一个核心出来,用spring4+spring mvc+hibernate4,今天
2014-11-04 17:34:29
812
转载 快学Scala习题解答—第一章 基础
1 简介 近期对Scala比较感兴趣，买了本《快学Scala》,感觉不错。比《Programming Scala:Tackle Multi-Core Complexity on the Java Virtual Machine》好很多。 是本不错的入门书。而且每个章节都设置了难度级别，每章有习题，可以巩固Scala语法。 本文的目的就是针对这些习题进行解答 2 基础 2.1
2014-10-29 22:56:32
454
原创 用编译器写scala的hello word
bject cece { def main(args: Array[String]) { println("Hello, world!"+1) println(fun("aaa")) println(3- pow(2,sqrt(3))) println("sdsd"*5) }
2014-10-29 22:55:39
424
空空如也
hadoop2.6使用snappy.报错
2015-05-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人