- 博客(8)
- 收藏
- 关注
原创 [【Linux命令003】ln建立软链接
命令 ln -s 原文件 目标文件(快捷方式) 在spark的配置文件目录下建立对hive-site.xml的软链: cd $SPARK_HOME/conf ln -s $HIVE_HOME/conf/hive-site.xml hive-site.xml
2016-03-16 11:39:41
365
原创 【Linux命令002】tr命令
tr命令的含义是translate, hostname | tr [a-z] [A-Z] 命令结果是将hostname所有字母转换为大写
2016-03-15 13:18:37
640
原创 【Linux命令001】cp命令
cp命令用于复制文件或者文件目录到目标目录 假如目录结构如下: src目录 a.log b.log target目录 那么:cp src target 1.
2016-03-15 13:15:47
445
原创 SparkSQL10_Unsafe相关_01_sun.misc.Unsafe
1. Unsafe.copyMemory 1.1 如下代码实现字节数组的拷贝 import sun.misc.Unsafe; import java.lang.reflect.Field; public class UnsafeTest { private static final Unsafe _UNSAFE; private static final int BYT
2015-10-22 15:57:04
320
原创 SparkSQL08_SQLCommand_02_DescribeTable
1. 执行如下SQL命令 sc.textFile("file:///D:\\myprojects\\SparkSQLPerf\\data\\students.txt") .map(x => x.split(" ")) .map(x => (Student3(x(0), x(1), x(3), x(2).toInt))).toDF().registerTempT
2015-10-16 11:12:37
410
原创 SparkSQL07_ThriftServer_01_SparkThriftServer环境搭建
1. 首先安装Hive并且保证已经启动了Hive Meta Store Service 如果没有启动Hive Meta Store Service,那么hive-site.xml文件中如下配置的通过thrift访问metastore server将无法建立连接,也就是9083端口没有监听 hive.metastore.uris thrift://0.0.0.0:9
2015-10-14 15:58:44
1171
原创 SparkSQL00_总体介绍_04_Scala Type与Catalyst Type类型转换(第一部分)
1. Scala Type和Catalyst Type的转换包括简单类型,比如String,Date, Number之间的转换;也包括集合类型,如Array、Map之间的转换。 2. Scala Type, CatalystType指的是什么 ScalaType指的是Scala和Java语言提供的数据类型,比如String, Date,Decimal,Array,Map等。 Cata
2015-10-10 11:59:53
1518
原创 SparkSQL05_prepareForExecution_01_EnsureRequirements
源代码: /** * Ensures that the [[org.apache.spark.sql.catalyst.plans.physical.Partitioning Partitioning]] * of input data meets the * [[org.apache.spark.sql.catalyst.plans.physical.Distribution D
2015-10-08 12:35:50
550
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人