[Scala]Scala学习笔记一 基础

1. 变量val定义的值实际上是一个常亮,无法改变其内容 scala> val num = 0 num: Int = 0 scala> num = 2 :12: error: reassignment to val num = 2 ^ 如果要声明其值可变的变量,可以使用varscala> var number = 0 number: Int = 0 sca...
阅读(23) 评论(0)

[ElasticSearch]term 精确匹配 中文字符串短语

1. 给定数据curl -XPUT 'localhost:9200/test-index/stu/1' -d' { "name":"陈泽鹏", "sex":"boy", "college":"计算机学院" }'; curl -XPUT 'localhost:9200/test-index/stu/2' -d' { "name":"廖力生", "sex":"bo...
阅读(33) 评论(0)

[Hive]HiveServer2配置

HiveServer2(HS2)是一个服务器接口,能使远程客户端执行Hive查询,并且可以检索结果。HiveServer2是HiveServer1的改进版,HiveServer1已经被废弃。HiveServer2可以支持多客户端并发和身份认证。旨在为开放API客户端(如JDBC和ODBC)提供更好的支持。这篇文章将介绍如何配置服务器端。如何使用客户端与此服务器端交互将在下篇文章中介绍。备注Hive...
阅读(41) 评论(0)

[Hive]HiveServer2概述

1. HiveServer1HiveServer是一种可选服务,允许远程客户端可以使用各种编程语言向Hive提交请求并检索结果。HiveServer是建立在Apache ThriftTM(http://thrift.apache.org/) 之上的,因此有时会被称为Thrift Server,这可能会导致混乱,因为新服务HiveServer2也是建立在Thrift之上的.自从引入HiveServe...
阅读(37) 评论(0)

[Mvel]Mvel2.0使用指南一 基础

MVEL在很大程度上受到Java语法的启发,作为一个表达式语言,也有一些根本的区别,旨在更高的效率,例如:直接支持集合、数组和字符串匹配等操作以及正则表达式。 MVEL用于执行使用Java语法编写的表达式。除了表达语言之外,MVEL还可用作配置和字符串构造的模板语言。MVEL2.x表达式包含以下部分的内容:属性表达式布尔表达式方法调用变量赋值函数定义1. 基本语法MVEL 是一种基于Java语法,...
阅读(53) 评论(0)

[Redis]Redis指南二 配置

我们可以通过redis-server的启动参数port设置了Redis的端口号,除此之外Redis还支持其他配置选项,如是否开启持久化,日志级别等.由于可以配置的选项较多,通过启动参数设置这些选项并不方便,所以Redis支持通过配置文件来设置这些选项.启动配置文件的方法在启动时将配置文件的路径作为启动参数传递给redis-server:redis-server /path/to/redis.con...
阅读(65) 评论(0)

[Spark]Shark, Spark SQL, Hive on Spark以及SQL On Spark的未来

随着Spark SQ的引入以及Hive On Apache Spark的新功能(HIVE-7292)的引入,我们对这两个项目的立场以及它们与Shark的关系有了很多的关注。在今天的Spark Summit上,我们宣布我们正在停止Shark的开发,并将资源全部集中在Spark SQL上,这将为现有Shark用户提供一个Shark特色的圈子(will provide a superset of Sha...
阅读(119) 评论(0)

[Spark]Spark RDD 指南五 持久化

1. 概述Spark中最重要的功能之一是操作时在内存中持久化(缓存)数据集(persisting (or caching) a dataset in memory across operations)。当我们让Spark持久化存储一个RDD时,每个节点都会将其计算的任何分区存储在内存中,并将其重用于该数据集(或从其派生的数据集)的其他行动操作(each node stores any partit...
阅读(110) 评论(0)

[Shell]tr命令使用指南

1. 用途tr,translate的简写,主要用于压缩重复字符,删除文件中的控制字符以及进行字符转换操作。2. 语法tr [OPTION]... SET1 [SET2]3. 参数3.1 -s 压缩重复字符-s: squeeze-repeats,用SET1指定的字符来替换对应的重复字符 (replace each input sequence of a repeated character that...
阅读(229) 评论(0)

[Shell]test命令使用指南

Shell中的 test 命令用于检查某个条件是否成立,它可以进行数值、字符和文件三个方面的测试。1. 数值参数说明-eq等于则为真-ne不等于则为真-gt大于则为真-ge大于等于则为真-lt小于则为真-le小于等于则为真Example:num1=100 num2=100 if test $[num1] -eq $[num2] then echo '两个数相等' else echo...
阅读(98) 评论(0)

[Shell]特殊变量$0$#$*$@$?和命令行参数

1. 参数变量特殊变量列表变量含义$0当前脚本的文件名$n传递给脚本或函数的参数。n 是一个数字,表示第几个参数。例如,第一个参数是$1,第二个参数是$2。$#传递给脚本或函数的参数个数。$*传递给脚本或函数的所有参数。$@传递给脚本或函数的所有参数。被双引号(" ")包含时,与 $* 稍有不同,下面将会讲到。$?上个命令的退出状态,或函数的返回值。$$当前Shell进程ID。对于 Shell 脚...
阅读(69) 评论(0)

[Spark]Spark RDD 指南四 RDD操作

RDD支持两种类型的操作:转移(transformations):从现有数据集创建一个新数据集 动作(actions):在数据集上进行计算后将值返回给驱动程序例如,map是一个转移操作,传递给每个数据集元素一个函数并返回一个新RDD表示返回结果。 另一方面,reduce是一个动作操作,使用一些函数聚合RDD的所有元素并将最终结果返回给驱动程序(尽管还有一个并行的reduceByKey返回分布式数据...
阅读(92) 评论(0)

[Spark]Spark RDD 指南三 弹性分布式数据集(RDD)

Spark的核心概念是弹性分布式数据集(RDD),RDD是一个可容错、可并行操作的分布式元素集合。有两种方法可以创建RDD对象:在驱动程序中并行化操作集合对象来创建RDD从外部存储系统中引用数据集(如:共享文件系统、HDFS、HBase或者其他Hadoop支持的数据源)。1. 并行化集合通过在驱动程序中的现有集合上调用JavaSparkContext的parallelize方法创建并行化集合(Pa...
阅读(126) 评论(0)

[Spark]Spark RDD 指南二 初始化

1. 初始化Spark程序必须做的第一件事是创建一个JavaSparkContext对象(Scala和Python中是SparkContext对象),它告诉Spark如何访问集群。 要创建SparkContext,您首先需要构建一个包含有关应用程序信息的SparkConf对象。Java版本:private static String appName = "JavaWordCountDemo"; p...
阅读(159) 评论(0)

[Spark]Spark RDD 指南一 引入Spark

1. Java版Spark 2.1.1适用于Java 7及更高版本。 如果您使用的是Java 8,则Spark支持使用lambda表达式来简洁地编写函数,否则可以使用org.apache.spark.api.java.function包中的类。请注意,从Spark 2.0.0开始,不支持Java 7,并且可能会在Spark 2.2.0中删除(Note that support for Java 7...
阅读(184) 评论(0)

[Spark]那些年我们遇到的Spark的坑

1. java.lang.NoClassDefFoundError: org/apache/spark/Logging1.1 问题Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/Logging at java.lang.ClassLoader.defineClass1(Native Me...
阅读(350) 评论(0)

[Hadoop]Hadoop本地调试

1. Maven依赖dependency> groupId>org.apache.hadoopgroupId> artifactId>hadoop-clientartifactId> version>2.7.2version> dependency> dependency> groupId>junitgroupId> artifactId>junitart...
阅读(115) 评论(0)

[Zeppelin]设置访问登录权限

1. 概述我们在浏览器中输入 http://localhost:8080/ 进入Zeppelin的主页,不需要用任何的验证就可以进入主页面:换句话说,任何人在浏览器输入上面地址(本机),都可以访问Zeppelin里的所有笔记. 在上图中我们也可以看到我们的登陆用户是anonymous.2. 修改匿名访问Zeppelin启动默认是匿名(anonymous)模式登录的.如果设置访问登录权限,需要设置c...
阅读(298) 评论(0)

[Zeppelin]Zeppelin安装与初体验

1.安装1.1 下载点击进入下载页面备注下载页面会提供两种二进制包:zeppelin-0.7.1-bin-netinst.tgz 默认只会提供Spark的Interpreterzeppelin-0.7.1-bin-all.tgz 会提供各种各样的Interpreter(MySQL,ElasticSearch等等)所以说要根据你的使用场景具体选择哪种二进制包.1.2 解压缩xiaosi@yoona:...
阅读(284) 评论(0)

[Redis日记]Redis初体验之安装与运行

在安装Redis前需要了解Redis的版本规则以选择最合适自己的版本,Redis约定次版本(即第一个小数点后的数字)为偶数的版本是稳定版本(如 2.4版本,2.6版本),奇数版本是非稳定版本(如2.5版本,2.7版本),推荐使用稳定版本进行开发和在生产环境中使用.1. 下载当前最新版本为3.2.9:官网下载:https://redis.io/中文官网下载:http://www.redis.cn/d...
阅读(122) 评论(0)
786条 共40页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:1069310次
    • 积分:17961
    • 等级:
    • 排名:第505名
    • 原创:609篇
    • 转载:133篇
    • 译文:46篇
    • 评论:158条
    博客专栏
    文章分类
    最新评论