2016年11月_zero__007

原创 Redis简单命令

启动服务 redis-server redis.conf >>1 2>&1 &连接redis redis-cli -h 127.0.0.1 -p 6379获取所有的key key *判断一个键是否存在 exists key删除键 del key [key...]赋值 set key value取值 get key Redis配置密码在redis.conf中取消#requi

2016-11-29 19:24:01 360

转载 Spark Streaming

转载自：http://blog.csdn.net/snail_gesture/article/details/49968617 http://blog.selfup.cn/619.html概述 Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错

2016-11-28 19:57:48 356

转载 TCP笔记

转载自：http://blog.csdn.net/kobejayandy/article/details/38933499 http://blog.csdn.net/kobejayandy/article/details/38933513 http://blog.csdn.net/kobejayandy/article/details/18183077 http://b

2016-11-27 14:28:48 378

原创 JVM性能监控工具jstat、jps、jstack、jmap、jhat

jps是可以查看当前Java进程。命令格式：jps [options ] [ hostid ] [options]选项： -q：仅输出java进程号 -m：输出传递给Java进程（主函数）的参数 -l：输出主函数的完整路径 -v：输出jvm启动参数 jinfo查看正在运行的Java进程的扩展参数。命令格式：jinfo <option> <pid> 例如：

2016-11-24 20:15:26 742

转载 wait-notify机制

转载自：http://www.ticmy.com/?p=219 http://www.ticmy.com/?p=394 在调用wait、notify的时候，必须先持有锁，且状态变量须由该锁保护，而内置锁对象与内置条件队列对象又是同一个对象。也就是说，要在某个对象上执行wait，notify，先必须锁定该对象，而对应的状态变量也是由该对象锁保护的。如果在调用wait、notify的时候没有

2016-11-20 15:25:06 584

原创 lambda表达式中的return

Scala版:object Test { def main(args: Array[String]) { val list = List("A", "B", "C") list.foreach(s=>{ if (s == "C") { println("ok, do something.")

2016-11-20 15:11:51 13764

原创 SparkStreaming的WordCount示例及源码分析（一）

一.代码示例object WordCount { def main(args: Array[String]) { val conf = new SparkConf().setAppName("WordCount").setMaster("local[2]") //设置batchDuration时间间隔来控制Job生成的频率并且创建Spa

2016-11-13 18:15:57 939

转载 Spark运行模式

转载自：http://blog.csdn.net/colorant/article/details/18549027 Spark的运行模式取决于传递给SparkContext的MASTER环境变量的值，有以下几种（参考http://spark.apache.org/docs/latest/submitting-applications.html）：简单介绍一下：Loca

2016-11-12 20:00:01 631

原创 Spark运行流程源码走读

SparkContext是整个spark程序的入口，在写WordCount程序时会new SparkContext(sparkConf)构建一个SparkContext实例。在SparkContext.scala中会执行一些必要的任务，最重要的如下（在396行的try块中的521行）： // Create and start the schedulerval (sched, ts) = Sp

2016-11-10 20:52:01 1285

原创 Spark1.6的RPC

Spark RPC的核心是RpcEnv、RpcEndpoint、RpcEndpointRef，底层可以选择是基于Akka或Netty，可以扩展。/** * An RPC environment. [[RpcEndpoint]]s need to register itself with a name to [[RpcEnv]] to * receives messages. Then [[

2016-11-10 19:27:45 402

原创 JMM主内存与工作内存交互

Java虚拟机内存模型中定义了8种关于主内存和工作内存的交互协议操作：lock：作用于主内存的变量，把一个变量标识为一条线程独占状态。unlock：作用于主内存的变量，把一个处于锁定状态的变量释放出来，释放后的变量可以被其他线程锁定。read：作用于主内的变量，把一个变量的值从主内存传输到线程的工作内存中，以便随后的load动作使用。load：作用于工作内存的变量，把read读取操作从主内存

2016-11-03 20:35:10 1891

转载 +=与=..+..的区别

转载自：http://www.ticmy.com/?p=285在继续之前，来温故一点基础： 1、做基本运算（如+、-、*、/、<<、>>、>>>、~、^等），当两个操作数的类型是byte，short，char，int之一的时候，结果的类型是int； 2、做整数基本运算时，当一个操作数是long，结果是long； 3、不加任何修饰的整数字面值默认就是int类型。下面对上面的几点举例说

2016-11-03 20:28:58 506

ZERO