- 博客(8)
- 收藏
- 关注
转载 最全的正则测试
一、校验数字的表达式1 数字:^[0-9]*$2 n位的数字:^\d{n}$3 至少n位的数字:^\d{n,}$4 m-n位的数字:^\d{m,n}$5 零和非零开头的数字:^(0|[1-9][0-9]*)$6 非零开头的最多带两位小数的数字:^([1-9][0-9]*)+(.[0-9]{1,2})?$7 带1-2位小数的正数或负数:^(\-)?\d+(\.\d{1,2})?$8 正数、...
2017-09-25 16:58:00 182
转载 Azkaban配置
1,新建azkaban目录,用于安置azkaban程序 2,azkaban web服务器安装 解压 azkaban-web-server-2.5.0.tar.gztar -zvxf azkaban-web-server-2.5.0.tar.gz -C ../../apps/azkaban/重命名上面解压的文件夹 mv azkaban-web-2.5.0 webserver3,执...
2017-09-14 16:08:00 111
转载 Spark RDD关联操作小结
前言 Spark的rdd之间的关系需要通过一些特定的操作来实现, 操作比较多也,特别是一堆JOIN也挺容易让人产生混乱的。 因此做了下小结梳理一下。 准备数据 var rdd1 = sc.makeRDD(Array(("A","a1"),("C","c1"),("D","d1"),("F","f1"),("F","f2")),2) var rdd2 = sc.makeRD...
2017-08-09 11:35:00 308
转载 sparkStreaming读取kafka的两种方式
概述 Spark Streaming 支持多种实时输入源数据的读取,其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源,由于我们的业务场景没有涉及,在此将不会讨论。本篇文章主要着眼于我们目前的业务场景,只关注Spark Streaming读取Kafka数据的方式。 Spark Streaming 官方提供了两种方式读取Kafka数据: 一是Rece...
2017-08-08 13:37:00 144
转载 R简易安装
post={"title":"my Blog post","content":"Here's my blog post","date":new Date()} sudo yum install -y gccsudo yum install -y glibc-headerssudo yum install -y libreadline6-dev gfortran sudo yum ins...
2017-07-31 14:52:00 171
转载 mysql索引处理
1.索引作用在索引列上,除了上面提到的有序查找之外,数据库利用各种各样的快速定位技术,能够大大提高查询效率。特别是当数据量非常大,查询涉及多个表时,使用索引往往能使查询速度加快成千上万倍。例如,有3个未索引的表t1、t2、t3,分别只包含列c1、c2、c3,每个表分别含有1000行数据组成,指为1~1000的数值,查找对应值相等行的查询如下所示。SELECT c1,c2,c3 FROM ...
2017-07-31 13:49:00 86
转载 kafka常用命令
到kafka目录下面执行命令:nohup /usr/soft/kafka/kafka-server-start.sh /usr/soft/kafka/config/server.properties &注意:会把生成的日志存放在nohup.out下面 下面的这种方式更好:/usr/soft/kafka/bin/kafka-server-start.sh /usr/soft/...
2017-06-20 21:25:00 72
转载 shell脚本
一、shell概念 Shell 是一个用C语言编写的程序,它是用户使用Linux的桥梁。 Shell 脚本(shell script),是一种为shell编写的脚本程序。 二、Shell运行环境 Linux系统上有运行shell的解释器的环境下都可以运行shell脚本 前市面上较知名的发行版有:Ubuntu、RedHat、CentOS都自带了解释器 三、Linux下shell的解释...
2017-06-20 21:23:00 142
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人