2016年08月_往事随风ing

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 [R基础]-- R时间序列举例(预测未来几个月的用气量)

一、数据准备见数据：1179.89451380.5021213.43351609.23451202.77651413.38851338.0521598.8481374.63651411.96951236.41851146.8671004.85551493.03051207.8441285.7731206.28151169.2921167.049514...

2016-08-31 10:55:39 3550

原创 [Hive基础]-- 替换指定字符串的函数

1、转换函数select cast(substring('2016-06-05 00:00:00.0',1,10) as int);结果---》20160605 2、替换函数 select cast(substring(regexp_replace('2016-06-05 00:00:00.0', '-', ''),1,8) as int);结果--》20160...

2016-08-25 10:07:01 78523 1

原创 [HBase错误]-- 执行 hbase shell报错

xshell进入hbase错误：执行：hbase shellCaused by: GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)at sun.security.jgss.krb5.Krb5InitCredential.getInstance(Krb...

2016-08-22 21:46:21 3638

原创 [数据库基础]-- 添加、修改mysql主键

----1、修改表的主键字段ALTER TABLE T_test drop PRIMARY KEY; ALTER TABLE T_test ADD PRIMARY KEY (order_num,receipt_addr_id,accounts_time);----2、修改字段类型 alter table A_JQZ_T_GAS_GET_ORDER_NUM_INFO_S ...

2016-08-16 18:20:57 626

原创 [CDH基础]-- 查看cloudrea的许可证---可用期限

步骤如下：1、登陆：http://ip:71802、点击查看：

2016-08-15 16:16:03 2738

翻译 [scala基础]--scalacheat

scalacheatvariables var x = 5 variableGOOD val x = 5BAD x=6 constantvar x: Double = 5explicit typefunctions GOOD def f(x: Int) = { x*x }BAD def f(x: Int) { x*x }def...

2016-08-14 15:50:01 637

Java和Scala容器的转换和Scala一样，Java同样提供了丰富的容器库，Scala和Java容器库有很多相似点，例如，他们都包含迭代器、可迭代结构、集合、映射和序列。但是他们有一个重要的区别。Scala的容器库特别强调不可变性，因此提供了大量的新方法将一个容器变换成一个新的容器。某些时候，你需要将一种容器类型转换成另外一种类型。例如，你可能想要像访问Scala容器一样访问某个Java容器...

2016-08-14 15:33:31 10059 1

翻译 [scala基础]--定义容器

从头定义新容器我们已经知道List(1, 2, 3)可以创建出含有三个元素的列表，用Map('A' -> 1, 'C' -> 2)可以创建含有两对绑定的映射。实际上各种Scala容器都支持这一功能。任意容器的名字后面都可以加上一对带参数列表的括号，进而生成一个以这些参数为元素的新容器。不妨再看一些例子：Traversable() // 一个空的Traversable对象List() /...

2016-08-14 15:31:02 648

翻译 [scala基础]--序列、集合、映射类型特点

性能特点前面的解释明确说明了不同的容器类型具有不同的性能特点。这通常是选择容器类型的首要依据。以下的两张表格，总结了一些关于容器类型常用操作的性能特点。序列类型的性能特点headtailapplyupdateprependappendinsert 不可变序列 ListCCLLCL-StreamCCLLCL-VectoreCeCeCeCeCeC-StackCCLLCCLQueueaCaC...

2016-08-14 15:28:21 2068

翻译 [scala基础]--序列trait：Seq、IndexedSeq及LinearSeq

序列trait：Seq、IndexedSeq及LinearSeqSeq trait用于表示序列。所谓序列，指的是一类具有一定长度的可迭代访问的对象，其中每个元素均带有一个从0开始计数的固定索引位置。序列的操作有以下几种，如下表所示：索引和长度的操作 apply、isDefinedAt、length、indices，及lengthCompare。序列的apply操作用于索引访问；因此，Seq[T]类...

2016-08-14 15:25:29 6175

翻译 [scala基础]--Trait Iterable

Trait Iterable自下而上的容器（collection）层次结构具有可迭代的Trait。Trait的所有方法可定义为一个抽象方法，逐个生成容器（collection）元素迭代器。Traversable Trait的foreach方法实现了迭代器的Iterable。下面是具体的实现。def foreach[U](f: Elem => U): Unit = { val it = it...

2016-08-14 15:20:06 2957

翻译 [scala基础]--Trait Traversable

Trait TraversableTraversable（遍历）是容器(collection)类的最高级别特性，它唯一的抽象操作是foreach:def foreach[U](f: Elem => U)需要实现Traversable的容器(collection)类仅仅需要定义与之相关的方法，其他所有方法可都可以从Traversable中继承。foreach方法用于遍历容器（collectio...

2016-08-14 14:56:14 2002

原创 [scala基础]--拆分List操作

运行环境：Jdk1.7、scala-2.10.4package study/** * Document:本类作用---->拆分List * User: yangjf * Date: 2016/8/14 8:57 */object TestArrays { def main(args: Array[String]) { val lists=List(12,3...

2016-08-14 14:41:22 5278

翻译 [scala基础]--iterators类操作

Iterators迭代器不是一个容器，更确切的说是逐一访问容器内元素的方法。迭代器it的两个基本操作是next和hasNext。调用it.next()会返回迭代器的下一个元素，并且更新迭代器的状态。在同一个迭代器上再次调用next，会产生一个新元素来覆盖之前返回的元素。如果没有元素可返回，调用next方法会抛出一个NoSuchElementException异常。你可以调用[迭代器]的hasNex...

2016-08-14 10:52:40 7551

翻译 [scala基础]--集合操作汇总

集合集合是不包含重复元素的可迭代对象。下面的通用集合表和可变集合表中概括了集合类型适用的运算。分为几类：测试型的方法：contains，apply，subsetOf。contains方法用于判断集合是否包含某元素。集合的apply方法和contains方法的作用相同，因此 set(elem) 等同于set constains elem。这意味着集合对象的名字能作为其自身是否包含某元素的测试函数。例...

2016-08-14 10:49:27 1669

翻译 [scala基础]--Arrays操作

数组在Scala中，数组是一种特殊的collection。一方面，Scala数组与Java数组是一一对应的。即Scala数组Array[Int]可看作Java的Int[]，Array[Double]可看作Java的double[]，以及Array[String]可看作Java的String[]。但Scala数组比Java数组提供了更多内容。首先，Scala数组是一种泛型。即可以定义一个Array[...

2016-08-14 10:46:25 3114

原创 [scala基础]--String的操作

运行环境：jdk1.7、scala-2.10.4package study/** * Document:本类作用---->测试字符串 * User: yangjf * Date: 2016/8/14 8:07 * 像数组，字符串不是直接的序列，但是他们可以转换为序列，并且他们也支持所有的在字符串上的序列操作这里有些例子让你可以理解在字符串上操作 */obj...

2016-08-14 08:42:06 8152

原创 [scala基础]--Map操作2

运行环境：Jdk1.7、scala-2.10.4package study/** * 测试Map集合 */object TestMap2 { def main(args: Array[String]): Unit = { val str="15864k5k562ftk523" //spilt切分 val worlds=str.split("k").ma...

2016-08-14 08:06:26 699

原创 [scala基础]--不可变类型操作

运行环境：jdk1.7、scala-2.10.4package study/** * 数据结构操作：由于不可变类型，所以每次都需要新定义参数接收 */object Constunctor { //使用lazy修修饰，懒加载 lazy val li2 = List(1, 2, 4, 100) def main(args: Array[String]): Unit = {...

2016-08-13 22:58:12 1048

原创 [scala基础]--map基本操作

运行环境：jdk1.7、scala-2.10.4package study//数据结构mapobject TestMap { def main(args: Array[String]): Unit = { var m1=scala.collection.mutable.Map[String,Int](("tom",12),("jim",21)) var m2=scala...

2016-08-13 19:53:59 9558

原创 [scala基础]--trait操作

运行环境;jdk1.7、scala-2.10.4package study/** * 举例编写trait */object TestTrait { def main(args: Array[String]): Unit = { new TestTrait().speak("help ") new TestTrait().eat("apple ") new...

2016-08-13 19:45:18 528

原创 [scala基础]--for操作

运行环境：jdk1.7、scala-2.10.4简单的for操作：package study//内建控制结构yiledobject TestYield { //程序入口 def main(args: Array[String]): Unit = { Test3() } case class Test3() { var filename = (new jav...

2016-08-13 19:38:13 751

原创 [Sqoop基础]-- 使用shell脚本执行hive、sqoop命令

1、test.sh脚本内容如下：#!/bin/bash#CURR_DATE=`date +"%Y-%m-%d %H:%M:%S"`------>不能使用v_sql="insert into origin_ennenergy_energytrade.test2 values('"$(date +"%Y-%m-%d %H:%M:%S")"','"Y"')" echo $v_sq..

2016-08-09 10:45:44 8450

原创 [Mysql基础]-- shell语句备份mysql数据库表内容，生成sql文件的tar包

shell命令如下：#!/bin/bash /usr/bin/mysqldump -u$root-p$123456 --no-create-info --skip-opt --skip-tz-utc --skip-quote-names --default-character-set=gbk--where "DATE_FORMAT(scsj,'%y-%m-%d')='"$date"'" ...

2016-08-08 12:21:41 1873

原创 [Hadoop基础]-- 执行yarn命令报权限问题错误

# yarn application -kill application_1469066281048_9314 16/08/08 10:39:23 INFO client.RMProxy: Connecting to ResourceManager at master-27.dev.cluster.enn.cn/10.1.150.7:803216/08/08 10:39:24 WARN...

2016-08-08 10:51:07 4420

原创 [Spark进阶]-- spark-1.6.x-小结

官方定义：spark是一个基于内存的分布式计算框架它会使得计算速度以及开发速度快！特点：One stack rule them all !一站解决所有问题热查询(Hive)批处理(MapReduce)实时流计算(Storm)回顾MapReduce 的 Shuffle过程见图 hadoop慢的原因：DISK IO 输入输出DISK IO，Shuffle阶段也是DI...

2016-08-07 18:08:42 1924

原创 [Sqoop基础]-- 本地执行sqoop和oozie上执行sqoop命令需要注意

-------------------------------------------本地sqoop命令，需要修改为'\N'、并且添加sqoop前缀-------------------------------------------#采购订单sqoop export --connect jdbc:mysql://192.168.1.109/testtests?characterEncodi...

2016-08-07 16:04:53 3775

原创 [Hive基础]-- 去除指定重复的数据举例

Hive数据去重举例：Hql代码 INSERT overwrite TABLE store SELECT t.p_key, t.sort_wordFROM ( SELECT p_key, sort_word, row_number () over ( distribute BY p_key sort BY sort_word ) AS ...

2016-08-07 15:37:21 15961

原创 [Spark基础]-- 查看spark on yarn的日志和程序状态的方法

一、在命令行使用命令查看(1)查看日志：yarn logs -applicationId application_1469094096026_26612(2)查看状态：yarn applicaiton -status application_1469094096026_26612红色字体代表appID：在UI界面中寻找该id 二、通过spark UI查询 ...

2016-08-05 21:13:29 22863

转载 [Spark基础]-- RDD解释

How do I make clear the concept of RDD in Spark? recently, I spent a lot time on the paper RDD: A Fault-Tolerant Abstraction for in-memory cluster computing. But seems that I still didn't catch so...

2016-08-04 23:48:30 743

原创 [Webservice基础]-- java使用idea、dubbox、cxf构建web service

使用dubbox构建web service开发环境：windows 8.1 +maven 3.3.9+idea 16.1 +jdk 1.7+dubbox 2.8.4+zookeeper3.4.6 + tomcat 8搭建步骤：一、环境准备 1、安装jdk1.7、idea 16、tomcat8(我使用的发布dubbox的方式是tomcat，其他方式参考： ...

2016-08-03 20:48:27 4645 2

原创 [负载均衡]-- keepalived+lvs+mysql实现负载均衡

lvs+keepalived+mysql的HA（keepalived是做高可用的）准备2台机器：node1、node2 共4个网卡(每台2个)，4个ip地址备注： node1-->eth1、node2--->eth1是keepalived，node1--->eth0、node2--->eth0是真实服务器 node1-----...

2016-08-02 12:40:47 1895