Ying

个人博客:http://smartsi.club/

[Redis]Redis指南二 配置

我们可以通过redis-server的启动参数port设置了Redis的端口号,除此之外Redis还支持其他配置选项,如是否开启持久化,日志级别等.由于可以配置的选项较多,通过启动参数设置这些选项并不方便,所以Redis支持通过配置文件来设置这些选项.启动配置文件的方法在启动时将配置文件的路径作为...

2017-06-28 20:33:12

阅读数:268

评论数:0

[Spark]Shark, Spark SQL, Hive on Spark以及SQL On Spark的未来

随着Spark SQ的引入以及Hive On Apache Spark的新功能(HIVE-7292)的引入,我们对这两个项目的立场以及它们与Shark的关系有了很多的关注。在今天的Spark Summit上,我们宣布我们正在停止Shark的开发,并将资源全部集中在Spark SQL上,这将为现有S...

2017-06-20 20:41:40

阅读数:537

评论数:0

[Spark]Spark RDD 指南五 持久化

1. 概述Spark中最重要的功能之一是操作时在内存中持久化(缓存)数据集(persisting (or caching) a dataset in memory across operations)。当我们让Spark持久化存储一个RDD时,每个节点都会将其计算的任何分区存储在内存中,并将其重用...

2017-06-16 18:05:41

阅读数:1069

评论数:0

[Shell]tr命令使用指南

1. 用途tr,translate的简写,主要用于压缩重复字符,删除文件中的控制字符以及进行字符转换操作。2. 语法tr [OPTION]... SET1 [SET2]3. 参数3.1 -s 压缩重复字符-s: squeeze-repeats,用SET1指定的字符来替换对应的重复字符 (repla...

2017-06-16 14:20:32

阅读数:544

评论数:0

[Shell]test命令使用指南

Shell中的 test 命令用于检查某个条件是否成立,它可以进行数值、字符和文件三个方面的测试。1. 数值参数说明-eq等于则为真-ne不等于则为真-gt大于则为真-ge大于等于则为真-lt小于则为真-le小于等于则为真Example:num1=100 num2=100 if test $[nu...

2017-06-16 14:14:33

阅读数:381

评论数:0

[Shell]特殊变量$0$#$*$@$?和命令行参数

1. 参数变量特殊变量列表变量含义$0当前脚本的文件名$n传递给脚本或函数的参数。n 是一个数字,表示第几个参数。例如,第一个参数是$1,第二个参数是$2。$#传递给脚本或函数的参数个数。$*传递给脚本或函数的所有参数。$@传递给脚本或函数的所有参数。被双引号(" ")包含时,...

2017-06-15 20:36:15

阅读数:542

评论数:0

[Spark]Spark RDD 指南四 RDD操作

Spark2.3.0版本: Spark2.3.0 RDD操作RDD支持两种类型的操作:转移(transformations):从现有数据集创建一个新数据集 动作(actions):在数据集上进行计算后将值返回给驱动程序例如,map是一个转移操作,传递给每个数据集元素一个函数并返回一个新RDD表示返...

2017-06-13 21:14:25

阅读数:989

评论数:0

[Spark]Spark RDD 指南三 弹性分布式数据集(RDD)

Spark2.3.0 版本: Spark2.3.0 创建RDDSpark的核心概念是弹性分布式数据集(RDD),RDD是一个可容错、可并行操作的分布式元素集合。有两种方法可以创建RDD对象:在驱动程序中并行化操作集合对象来创建RDD从外部存储系统中引用数据集(如:共享文件系统、HDFS、HBase...

2017-06-12 20:40:52

阅读数:690

评论数:0

[Spark]Spark RDD 指南二 初始化

1. 初始化Spark程序必须做的第一件事是创建一个JavaSparkContext对象(Scala和Python中是SparkContext对象),它告诉Spark如何访问集群。 要创建SparkContext,您首先需要构建一个包含有关应用程序信息的SparkConf对象。Java版本:pri...

2017-06-08 17:08:36

阅读数:1143

评论数:0

[Spark]Spark RDD 指南一 引入Spark

2.3.0版本:Spark2.3.0 引入Spark1. Java版Spark 2.1.1适用于Java 7及更高版本。 如果您使用的是Java 8,则Spark支持使用lambda表达式来简洁地编写函数,否则可以使用org.apache.spark.api.java.function包中的类。请...

2017-06-08 16:36:51

阅读数:625

评论数:0

[Spark]那些年我们遇到的Spark的坑

1. java.lang.NoClassDefFoundError: org/apache/spark/Logging1.1 问题Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spar...

2017-06-08 16:24:07

阅读数:3749

评论数:1

[Hadoop]Hadoop本地调试

1. Maven依赖dependency> groupId>org.apache.hadoopgroupId> artifactId>hadoop-clientartifactId> version>2.7.2version> de...

2017-06-08 11:57:32

阅读数:667

评论数:0

[Zeppelin]设置访问登录权限

1. 概述我们在浏览器中输入 http://localhost:8080/ 进入Zeppelin的主页,不需要用任何的验证就可以进入主页面:换句话说,任何人在浏览器输入上面地址(本机),都可以访问Zeppelin里的所有笔记. 在上图中我们也可以看到我们的登陆用户是anonymous.2. 修改匿...

2017-06-05 17:52:41

阅读数:1810

评论数:0

[Zeppelin]Zeppelin安装与初体验

1.安装1.1 下载点击进入下载页面备注下载页面会提供两种二进制包:zeppelin-0.7.1-bin-netinst.tgz 默认只会提供Spark的Interpreterzeppelin-0.7.1-bin-all.tgz 会提供各种各样的Interpreter(MySQL,ElasticS...

2017-06-05 17:06:58

阅读数:2798

评论数:0

[Redis]Redis指南一 安装与启动

在安装Redis前需要了解Redis的版本规则以选择最合适自己的版本,Redis约定次版本(即第一个小数点后的数字)为偶数的版本是稳定版本(如 2.4版本,2.6版本),奇数版本是非稳定版本(如2.5版本,2.7版本),推荐使用稳定版本进行开发和在生产环境中使用.1. 下载当前最新版本为3.2.9...

2017-06-01 09:48:37

阅读数:400

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭