lgshendy的专栏

hiveclient所在主机的jdk 1.7_51，hive 0.12和hadoop 2.3.0是从服务器端拷贝过来的，环境变量一切OK. 执行连接报了Invalid URL的错误： $ beeline Beeline version 0.12.0 by Apache Hive beeline> !connect jdbc:hive2://cloud011:10000 scan com...

文章来自：http://blog.csdn.net/u013327467/article/details/45675705 自序这些都是笔者半年的结晶,现将其整理为博客，供各位网友参考。博客内容分为五个部分，如下：    Ubuntu物理机和虚拟机准备    ssh登录和jdk安装    Hadoop-2.6.0+zookeeper-3.4.6 集群搭建    Spark-1.3.1集...

 1、安装JDK2、安装sbt3、安装git       git配置    git config --global user.name [username]git config --global user.email [email]    git https配置https方式每次都要输入密码，按照如下设置即可输入一次就不用再手输入密码的困扰而且又享受...

==================================================================================一、基础环境==================================================================================1、服务器分布192.168.10.84 ...

nginx有一个非常灵活的日志记录模式。每个级别的配置可以有各自独立的访问日志。日志格式通过log_format命令来定义。ngx_http_log_module是用来定义请求日志格式的。1. access_log指令语法: access_log path [format [buffer=size [flush=time]]];复制代码 代码如下:access_log ...

转自：http://blog.javachen.com/2015/04/20/basic-of-scala.html本文主要包括Scala的安装过程并理解Scala的基本语法和概念，包括表达式、变量、基本类型、函数、流程控制等相关内容。1. 安装从All Versions Scala下载所需版本Scala安装包，解压到指定目录之后，配置环境变量并使其生效。如果你使用Ma...

转自：https://www.zybuluo.com/jewes/note/35032RDD是什么？RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，同时可以被并行处理。因此，Spark应用程序所做的无非是把需要处...