- 博客(5)
- 资源 (4)
- 收藏
- 关注
原创 hadoop 根据SecondaryNameNode恢复Namenode
1.配置secondarynamenode 修改conf/core-site.xml增加 fs.checkpoint.period 3600 The number of seconds between two periodic checkpoints. fs.checkpoint.size 67108864 The size of the current edit l
2015-10-30 09:57:09 2000
原创 几种JVM垃圾回收机制
1.1.标记-清除收集器这种收集器首先遍历对象图并标记可到达的对象,然后扫描堆栈以寻找未标记对象并释放它们的内存。这种收集器一般使用单线程工作并停止其他操作。1.2.标记-压缩收集器有时也叫标记-清除-压缩收集器,与标记-清除收集器有相同的标记阶段。在第二阶段,则把标记对象复制到堆栈的新域中以便压缩堆栈。这种收集器也停止其他操作。1.3.复制收集器这种收集器
2015-10-17 11:09:52 1997
原创 JVM调优总结(这个总结得比较全面)
堆大小设置JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。我在Windows Server 2003 系统,3.5G物理内存,JDK5.0下测试,最大可设置为1478m。典型设置:java -Xmx3550m -Xms355
2015-10-17 10:41:49 39438 7
转载 Hive学习之Hive配置管理
Hive是基于Hadoop的一种数据仓库,对查询和管理分布式存储中的超大数据集提供了很大帮助。正如绝大部分开源软件一样,Hive允许用户调整参数改变Hive的默认行为。用户可以使用下面三种方法中的任意一种对Hive进行配置管理:在Hive的CLI(命令行接口)使用set命令在会话层级为后续语句设置参数值,比如:set hive.exec.scratchdir=/tmp/mydir,
2015-10-10 16:17:59 4168
原创 hive执行查询出现:org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row
Diagnostic Messages for this Task:Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row at org.apache.hadoop.hive.ql.
2015-10-10 16:13:25 23994 6
tpch_2_14_3
2015-11-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人