- 博客(4)
- 收藏
- 关注
原创 centos6.5下面安装Mysql笔记
1、下载http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.33-linux-glibc2.5-x86_64.tar.gz2、添加用户组信息:#添加用户组groupadd mysql#添加用户mysql 到用户组mysqluseradd -g mysql mysql
2017-09-06 19:39:51 227
原创 kafka本地java示例生产者与消费者,非ZK版
首先引入POM文件内容: org.apache.kafka kafka_2.12 0.10.2.1 compile jmxri com.sun.jmx jms javax.jms
2017-09-03 15:49:51 851
原创 spark-streaming-kafka-0-8版本 的java连接ZK例子
最近在研究sparkstreaming连接ZK使用的方法,0-8版本能连接ZK存储偏移量,但0-10版本貌似不能连接ZK来存储偏移量。继续踩坑。。。package Spark.SparkStreaming;import java.io.Serializable;import java.util.HashMap;import java.util.Map;import o
2017-08-27 17:10:03 837
原创 spark RDD 五大特性
1、有一个分片列表,能够被切分,就是和Hadoop一样,能被切分的数据才能并行操作。 2、有一个函数计算每一个分片,compute函数。 3、对其他的RDD的依赖列表,依赖又分为宽依赖和窄依赖,但不是所有的RDD都有依赖。 4、可选,key-value型的RDD是根据哈希来分区的,类似于mapreduce的Paritioner接口,控制key分
2017-08-03 19:56:06 2435
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人