dingyuanpu-CSDN博客

原创 linux常用命令个人笔记

1、设置时间设置时间为下午14点36分。# date -s 14:36:00Fri Nov 26 14:15:00 CST 1999例4：设置时间为1999年11月28号。# date -s 991128Sun Nov 28 00:00:00 CST 1999实例：设置时间伟2008年8月8号12:00# date -s "2008-08-08 12:00:00"

2016-07-13 11:55:33 597

原创 oracle 学习记录

一、sql语句：1、desc：描述……2、||：追加字母3、排序，默认是升序，降序是desdistinct:去掉不同的，如：select distinct name from form;alter user：更改用户select name,address,salary*12 annual_sa from form where name not like _a% an

2009-01-19 19:26:00 1501

原创 mysql打开远程连接

1. 使用 GRANT ALL PRIVILEGESON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; 命令可以更改远程连接的设置。2. 使用 flush privileges; 命令刷新刚才修改的权限，使其生效。

2016-10-10 23:31:40 551

原创 Phoenix4.8与Hive整合

站位

2016-09-28 22:45:03 2421

原创 Phoenix4.8整合Spark

本文使用SparkSQL shel操作phoenix通过phoenix提供的包来操作hbase比直接使用jdbc的方式更高效（因为比jdbc的方式更细粒度化的调度）1、在phoenix中建表CREATE TABLE TABLE1 (ID BIGINT NOT NULL PRIMARY KEY, COL1 VARCHAR);UPSERT INTO TABLE1 (ID, COL

2016-09-22 16:05:43 8025

原创 Phoenix4.8安装

环境：HDP-2.3.4、HBase1.1.2HDP自带的phoenix4.4版本有些问题，比如命令行中表显示不全，本文安装的是phoenix4.81、安装按照官方文档进行安装，参见：http://phoenix.apache.org/installation.html1）下载phoenix-xx-bin.tar2）讲phoenix-xx-server.jar拷

2016-09-22 10:01:30 2194

原创 scala进阶32-用for实现map、flattop、filter

object For_Advanced { def map1[A, B](list: List[A], f: A => B): List[B] = for(element <- list) yield f(element) def flatMap1[A, B](list: List[A], f: A => List[B]): List[B] = for(x <- li

2016-09-04 16:55:09 523

原创 scala进阶31-使用for做查询

case class Book(title: String, authors: List[String])object For_Query { def main(args: Array[String]): Unit = { val books: List[Book] = List ( Book("book1", List("a", "b")), Book("

2016-09-04 16:36:11 439

原创 scala进阶30-for的生成器、定义、过滤器

case class Person(name: String, isMale: Boolean, children: Person*)object For_expressive { def main(args: Array[String]): Unit = { val lauren = Person("Lauren", false) val rocky = Person("

2016-09-04 15:57:23 712

原创 scala进阶29-for的强大表达力

case class Person(name: String, isMale: Boolean, children: Person*)object For_expressive { def main(args: Array[String]): Unit = { val lauren = Person("Lauren", false) val rocky = Person("

2016-09-04 15:33:02 458

原创 scala进阶28-实现List高效遍历

object ListTest { def main(args: Array[String]): Unit = { val list = List(1, 3, 4, 5) increment(list) increment_MoreEffective(list) increment_MostEffective(list) } /** * 通过模

2016-08-30 00:50:46 6616

原创 Scala进阶27-List中的上界、下界、逆变、协变

abstract class Big_Dataclass Hadoop extends Big_Dataclass Spark extends Big_Data/** * ::是中值表达式 * def ::[B >: A] (x: B): List[B] = * new scala.collection.immutable.::(x, this) * A是以B为上界的，或者

2016-08-30 00:20:51 807

原创 scala进阶26-链式操作的背后

import sun.awt.AWTIcon32_java_icon24_pngobject Scalaclass Java1/** * 当子类创建对象是,调用method1,this即为子类对象 * 因此,调用method1后可以调用method2,实现了链式操作 */class JVM { def method1: this.type = this}class

2016-08-26 23:06:47 1124

原创 scala进阶25-获取类型（类、对象、object、trait)

import scala.reflect.runtime.universe._class Sparktrait Hadoopobject Flinkclass Java { class Scala}/** * 实例获取类用getClass * 类获取用classOf */object Type_Advanced { def main(args: Array[S

2016-08-26 00:17:31 5965

原创 scala进阶24-提取器与模式匹配

/** * 定义析构器(解构器) * 析构的时候unapply回被调用 * 传入的是要匹配的对象,返回的是要匹配出来的具体内容(解构后的元素) */object :> { def unapply[A](list: List[A]) = { Some((list.init, list.last))//init是最后一个元素之前的元素 }}object Extr

2016-08-25 23:22:40 776

原创 scala进阶24-赋值语句与模式匹配

object Assinment_Internals { def main(args: Array[String]): Unit = { var a@b = 1000 //a是别名,b是个常量(a被绑定到b上),背后是模式匹配完成的 b += 1 //a = 1000, b = 1001 println("a = " + a + ", b = " + b) v

2016-08-25 23:02:15 1299

原创 scala进阶23-for与模式匹配

object For_Advanced { def main(args: Array[String]): Unit = { for (i <- List(1, 2, 3, 4, 5)) println(i) //index绑定了一个别名,叫Flink,内部是模式匹配,匹配到Flink后设置别名给index for(index@"Flink" <- List("Hado

2016-08-25 00:21:05 387

原创 scala进阶22-并发编程react、loop

import java.net.{InetAddress, UnknownHostException}import scala.actors.Actorimport scala.actors.Actor._/** * 1、在Actor类的act方法中，可以使用react方法来替代receive方法进行消息的处理， * 使用react方法的好处是可以在一个线程中执行多个Actor的

2016-08-24 23:51:29 603

原创 scala进阶22-case class消息传递

import scala.actors.Actorimport scala.actors.Actor._case class Person(name: String, age: Int)class HelloActor extends Actor { def act(): Unit = { while(true) { receive { case

2016-08-23 23:56:31 1286

原创 scala进阶21-actor之消息传递

import scala.actors.Actorimport scala.actors.Actor._object Actor_Messages extends Actor { def act(): Unit = { while(true) { receive ({ //偏函数 case msg => println("Message content

2016-08-23 00:39:04 794

原创 scala进阶20-基于Actor多并发编程

import scala.actors.Actor/** * scala中基于actor实现并发编程,不共享数据,依赖消息传递 * pom文件中要引入scala-actors,否则找不到actors包 */object First_Actor extends Actor{ override def act: Unit = { println(Thread.current

2016-08-21 00:57:30 725

转载基于Flume的美团日志收集系统(二)改进和优化

基于Flume的美团日志收集系统(二)改进和优化dju alex ·2013-12-09 22:35转自：http://tech.meituan.com/mt-log-system-optimization.html在《基于Flume的美团日志收集系统(一)架构和设计》中，我们详述了基于Flume的美团日志收集系统的架构设计，以及为什么做这样的设计。在本节中，我们将会讲

2016-08-20 23:27:26 486

转载基于Flume的美团日志收集系统(一)架构和设计

基于Flume的美团日志收集系统(一)架构和设计dju alex ·2013-12-09 22:30转自：http://tech.meituan.com/mt-log-system-arch.html美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。

2016-08-20 23:24:46 341

转载 Hive SQL的编译过程

Hive SQL的编译过程木叶丸 ·2014-02-12 17:30转自：http://tech.meituan.com/hive-sql-to-mapreduce.htmlHive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性

2016-08-20 23:19:22 351

转载 Hive SQL的编译过程

2016-08-20 23:19:22 251

转载 Kafka文件存储机制那些事

Kafka文件存储机制那些事“悠悠香草” ·2015-01-14 00:00转自：http://tech.meituan.com/kafka-fs-design-theory.htmlKafka是什么Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以

2016-08-20 23:11:02 364

转载 Spark在美团的实践

Spark在美团的实践转自：http://tech.meituan.com/spark-in-meituan.html本文已发表在《程序员》杂志2016年4月期。前言美团是数据驱动的互联网服务，用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志，这些日志数据将被汇总处理、分析、挖掘与学习，为美团的各种推荐、搜索系统甚至公司战略目标制定提供数据支持。大数

2016-08-20 23:00:46 540

转载 Spark性能优化指南——高级篇

Spark性能优化指南——高级篇转自：http://tech.meituan.com/spark-tuning-pro.html?utm_source=tuicool&utm_medium=referral前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以

2016-08-20 22:53:59 275

转载 Spark性能优化指南——基础篇

Spark性能优化指南——基础篇转自：http://tech.meituan.com/spark-tuning-basic.html前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评

2016-08-20 22:48:00 344

原创 scala进阶19-隐式转换内幕

import scala.io.Sourceimport java.io.Fileclass RicherFile(val file: File) { def read = Source.fromFile(file.getPath).mkString}class MyFile(path: String) extends File(path)object MyFile { im

2016-08-19 01:00:50 411

原创 scala进阶18-隐式对象

abstract class Template[T] { def add(x: T, y: T): T}abstract class SubTemplate[T] extends Template[T] { def unit: T}object Implicits_Object extends App{ implicit object StringAdd extends S

2016-08-19 00:22:43 337

原创 scala进阶20-隐式转换至Ordered与Ordering

//Ordering是Ordering[T]隐式值class Pair_Implicits[T: Ordering](val first: T, val second: T) { def bigger(implicit ordered: Ordering[T]) = { if (ordered.compare(first, second) > 0) first else second

2016-08-18 23:13:34 1965

原创 scala进阶19-隐式参数+隐式转换

/** * 隐式参数+隐式转换 */object Implicit_Conversions_with_Implicit_Parameters { def main(args: Array[String]): Unit = { //ordered是一个变量,变量指向一个匿名函数,这个函数讲T转换成Ordered[T] def bigger[T](a: T, b: T)(

2016-08-18 00:34:26 338

原创 scala进阶18-隐式转换-隐式参数

/** * 隐式参数 */object Context_Implicits { implicit val default: String = "Java"}object Param { //编译器会检查谁是implicit的变量(全局范围内查找隐式值),如果有,会默认传递过来 def print(content: String) (implicit language:

2016-08-18 00:22:36 314

原创 scala进阶17-隐式类/方法-增强类功能

import java.io.Fileimport scala.io.Source/** * 通过隐式转换增强类的功能 */class RichFile(val file: File) { def read = Source.fromFile(file.getPath).mkString}/** * 定义object,写明隐式转换(implicit) * 隐式转

2016-08-17 23:32:12 950

原创 scala进阶16-抽象类型

import scala.io.{BufferedSource, Source}/** * 用type关键字定义抽象类型 * 抽象类型可用在方法中 */trait Reader { type In <: java.io.Serializable //抽象类型限定为可序列化的(In的上界) type Contents def read(in: In): Contents

2016-08-17 00:32:42 337

原创 scala进阶15-依赖注入

/** * 依赖注入是指依赖对象的创建，由第三方完成，而不是被依赖对象，我们将这种控制关系的转移，称为依赖注入或者控制反转。 * scala通过自身类型的限定实现依赖注入 */trait Logger { def log(msg: String) }trait Auth { //自身类型命名为auth,并且限定为Auth实例化时必须携带Logger auth: Logg

2016-08-17 00:11:23 1243

原创 scala进阶14-自身类型self type

/** * self不是关键字,是this的别名,具有更强的可读性,无代码中的outer => */class Self { self => val tmp = "Scala" def foo = self.tmp + this.tmp //可以用self和this访问自身成员}trait S1/** * 高级用法: * 1、如下所示,this:S1合在一起

2016-08-16 23:31:55 1824

原创 scala进阶13-中值表达式

/** * 中值表达式 */object Infix_Type { def main(args: Array[String]): Unit = { //函数名为>>: object Log { def >>: (data: String): Log.type = {println(data); Log}} //中值表达是是右结合的,其实是Log.>>:"Spa

2016-08-16 23:07:23 455

原创 scala进阶12-复合类型

trait Compound_Type1trait Compound_Type2class Compound_Type extends Compound_Type1 with Compound_Type2object Compound_Type { //参数x是复合类型,即是type1的类型也是type2的类型 def compound_Type(x: Compound_Type

2016-08-16 00:48:00 623