- 博客(8)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 Function parameter types and =>
This is so-called pass-by-name. It means you are passing a function that should return Int but is mostly used to implement lazy evaluation of parameters. It is somewhat similar to:def myFunc(param
2016-09-30 14:51:18
414
转载 Linux shell编程——if条件判断
if 语句格式if 条件then Commandelse Commandfi 别忘了这个结尾If语句忘了结尾fitest.sh: line 14: syntax error: unexpected end of fi if 的三种条件表达式
2016-09-28 18:04:52
335
原创 spark 1.6.2 spark-shell source code analysis
spark-shell source code , it is obvious that it call spark-submit with parametes --class org.apache.spark.repl.Main#!/usr/bin/env bash## Licensed to the Apache Software Foundation (ASF) under o
2016-09-28 09:50:37
678
原创 spark-submit source analysis
When we run spark-submit with parameters, it call spark-class shell script.The spark-submit source code:if [ -z "${SPARK_HOME}" ]; then export SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)"
2016-09-23 15:38:06
407
转载 spark常用函数：transformation和action Example
1、RDD提供了两种类型的操作：transformation和action所有的transformation都是采用的懒策略，如果只是将transformation提交是不会执行计算的，计算只有在action被提交的时候才被触发。1）transformation操作：得到一个新的RDD，比如从数据源生成一个新的RDD，从RDD生成一个新的RDDmap(func):对调用map的RDD数
2016-09-14 16:49:36
482
转载 Linux下安装SVN客户端
1、下载[maintain@HM16-213 software]$ wget http://subversion.tigris.org/downloads/subversion-deps-1.6.12.tar.bz2[maintain@HM16-213 software]$ wget http://subversion.tigris.org/downloads/subversion-1.6
2016-09-14 10:35:06
564
原创 hive添加完hive.exec.stagingdir参数，有的SQL报FileNotFoundException错
事件： 在调整参数hive.exec.stagingdir之后，有的SQL报错，有的SQL可以正常运行。 截屏如下：|处理方法： hive.insert.into.multilevel.dirs true 原因：当hive.insert.into.mulltilevel.dirs设置成fa
2016-09-02 10:59:13
4763
原创 hive MV速度慢的问题
事件： 执行一个HIVE查询，在执行到 hive 的 moving data 过程就卡住了，早上来的时候看执行还在那个位置。 截屏如下： 处理方法：在hive-site.xml中添加以下参数。<property> <name>hive.exec.stagingdir</name> ...
2016-09-02 10:26:05
2398
Hive 性能测试程序，https://github.com/hortonworks/hive-testbench 编译
2023-02-24
The Log-Structured Merge-Tree (LSM-Tree).pdf
2021-06-22
Distributed cycle detection in large-scale sparse graphs.pdf
2020-08-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人