- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark-sql与Hive的关系
spark sql 在某些部分是重用的Hive的东西，比如语法解析、元数据存储，到执行计划的翻译部分。HiveQL可以翻译成mapreduce执行，也可以翻译成spark执行计划执行。 在同时安装了Hive和spark时，我使用hive下的beeline执行HQL,执行引擎是mapreuce;使用spark下的spark-beeline执行HQL，执行引擎是spark。 不管是上面哪种方式执行 ...
2017-06-14 23:57:13
1739
原创 Hive-数据文件分隔符为多字符问题
在网上中文搜索出的结果，多半都是过时解决方法，还是推荐google，stackoverflow。 先上结论：如果是0.14以后的版本，直接用MultiDelimitSerde；否则，偏向于先预处理下源数据文件。 1. 如果是Hive 0.14 (2014-12月发布)以后的版本，就可以用MultiDelimitSerde优雅的解决这个问题。 This issue has be
2017-06-14 22:36:15
1067
原创 JVM 学习笔记
1.所有线程共享的内存区域： 方法区 + java堆 a)方法区中 存放着： 类型信息， 类(静态)变量，字节码。 方法区大小不必固定，虚拟机可以根据应用的需要动态调整；也不必连续，可以在堆(甚至是JVM自己的堆)中自由分配 用户或者程序员 可以 设置 方法区的初始大小、最小/最大尺寸等！
2012-01-20 11:17:21
244
原创 JVM 类装载器
类装载器的作用范围是指: 将 .class文件加载到JVM, 形成Class对象。java类装载机制的优点包括，动态性：可在运行时动态加载外部的类、远程网络下载过来的class文件等。 类隔离：Application Server中避免两个应用的类互相干扰。类装载器主要包括，1.启动类加载器(BootStrap) Sun JDK采用C++实现，在java代码中获取不到其实例，如尝试获取，返回null.2.扩展类加载器(Extension) 主要加载扩展功能的一些jar包。3.系统类加载器(Sys
2011-05-25 16:10:00
466
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人