2017年12月_后打开撒打发了

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创运行hadoop作业 No job jar file set. User classes may not be found. See Job or

气死人，之前都是好好的，突然出现这个问题，莫名奇妙；明明在代码中设置了：job.setJarByClass(xxxxxxx.class);还是报错：No job jar file set.错误WARN mapreduce.JobResourceUploader: No job jar file set. User classes may not be found. See Job

2017-12-31 21:38:00 5567

原创 Spark算子：RDD基本转换操作map、flatMap

import org.apache.spark._object rdd_test { System.setProperty("hadoop.home.dir", "C:\\hadoop_home\\") def main(args: Array[String]) { /* * Spark算子：RDD基本转换操作之 map、flatMap、

2017-12-29 18:11:18 13513

原创 Spark算子：RDD行动Action操作学习–countByKey、foreach、sortBy

package chenimport org.apache.spark._object rdd_test { System.setProperty ("hadoop.home.dir", "C:\\hadoop_home\\") def main(args: Array[String]) { /* * countByKey fo

2017-12-28 19:39:11 450

原创 windows下使用idea maven配置spark运行环境、运行WordCount例子以及碰到的问题

# 一、安装JAVA JDK 、Maven 、scala 这些安装都比较简单都可以去官网下载最新版本的安装包一一安装就可以了。scala官网下载地址：http://www.scala-lang.org/download/ # 二、安装idea scala 插件 setting—>plugins页面点击下面的角Browse repositories… 选项搜

2017-12-28 17:05:50 3779

转载 IDEA使用Maven搭建spark开发环境（scala）

如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境，并基于scala编写简单的spark中wordcount实例。1.准备工作首先需要在你电脑上安装jdk和scala以及开发工具Intellij IDEA，本文中使用的是win7系统，环境配置如下：jdk1.7.0_15 scala2.10.4scala官网下载地址：http://www

2017-12-27 18:45:11 6046 2

原创 redis源码分析（二）、sds动态字符串学习总结

sds字符串Redis 只会使用 C 字符串作为字面量，在大多数情况下， Redis 使用 SDS （Simple Dynamic String，简单动态字符串）作为字符串表示。比起 C 字符串， SDS 具有以下优点：常数复杂度获取字符串长度。杜绝缓冲区溢出。减少修改字符串长度时所需的内存重分配次数。二进制安全。兼容部分 C 字符串函数。根据传统， C 语言使用长度为

2017-12-20 16:33:04 393

原创 redis源码分析（一）复习redis命令、持久化方案、主从同步原来、配置

源码分析之前复习一下redis知识，好久没用过redis有点生疏了。一、redis的数据结构　　redis可以存储键与5种不同数据结构类型之间的映射，这5种数据类型就是string（字符串）、list（列表）、set（集合）、hash（散列）、zset（有序集合）。redis命令对于这5种结构都是通用的，如del、type、range等。1、string操作：string是re

2017-12-20 16:25:13 451

原创 redis源码分析（9）redis源码链表学习总结 adlist.h adlist.c

adlist的实现就比较常规了，比较ziplist简单多了。每个链表节点使用一个 adlist.h/listNode 结构来表示：typedef struct listNode { // 前置节点 struct listNode *prev; // 后置节点 struct listNode *next; // 节点的值 vo

2017-12-20 16:21:18 469

原创 redis源码分析（八）、redis数据结构之压缩ziplist--------ziplist.c ziplist.h学习笔记

一、介绍ziplist/* The ziplist is a specially encoded dually linked list that is designed * to be very memory efficient. * Ziplist 是为了尽可能节约内存而设计相当特许的双端队列 *It stores both strings and integer values,

2017-12-20 16:20:29 684

原创 redis源码分析（七）、redis命令学习总结—Redis 有序集合(sorted set)

一、介绍Redis 有序集合和集合一样也是string类型元素的集合,且不允许重复的成员。不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。有序集合的成员是唯一的,但分数(score)却可以重复。集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是O(1)。集合中最大的成员数为 232 - 1 (4294967295,

2017-12-20 16:19:43 439

原创 redis源码分析（六）、redis命令学习总结—Redis 集合(Set)

一、介绍：Redis的Set是string类型的无序集合。集合成员是唯一的，这就意味着集合中不能出现重复的数据。Redis 中集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是O(1)。集合中最大的成员数为 232 - 1 (4294967295, 每个集合可存储40多亿个成员)。二、命令学习。1、 SaddRedis Sadd 命令将一个或

2017-12-20 16:19:02 916

原创 redis源码分析（五）、redis命令学习总结—哈希Hash

一、介绍hasp：大多数编程语言中的map数据结构一样，Redis是键值对的集合，也就是说它存放的是字符串和字符串之间的映射。由于这个特性，hash特别适用于存储一个对象。将一个对象存储在hash中会占用更少的内存，并且可以方便地存取整个对象。二、命令学习1、HsetRedis Hset 命令用于为哈希表中的字段赋值。如果哈希表不存在，一个新的哈希表被创建

2017-12-20 16:18:25 460

原创 redis源码分析（四）、redis命令学习总结—链表List

一、链表List链表被广泛用于实现 Redis 的各种功能，比如列表键，发布与订阅，慢查询，监视器，等等。每个链表节点由一个 listNode 结构来表示，每个节点都有一个指向前置节点和后置节点的指针，所以 Redis 的链表实现是双端链表。每个链表使用一个 list 结构来表示，这个结构带有表头节点指针、表尾节点指针、以及链表长度等信息。因为链表表头节点的前置节点和表尾节

2017-12-20 16:17:37 386

原创 redis源码分析（三）redis命令学习总结—string字符串

一、描述字符串类型是Redis中最为基础的数据存储类型，它在Redis中是二进制安全的，这便意味着该类型可以接受任何格式的数据，如JPEG图像数据或Json对象描述信息等。在Redis中字符串类型的Value最多可以容纳的数据长度是512M二、redis字符串命令介绍1.set 命令：Redis SET 命令用于设置给定 key 的值。如果 key 已经存储其他值，

2017-12-20 16:15:56 441

原创 Open-falcon安装（Open-Falcon超级详细安装步骤）

一、go环境部署1、go环境的安装，安装open-falcon之前配置go环境下载go包，http://www.golangtc.com/download 老被墙没办法，百度最新安装包，云盘之类的下载一个对应系统版本下载即可。https://pan.baidu.com/s/1pL0Ca4V?errno=0&errmsg=Auth Login Sucess&&bduss=&ssn

2017-12-20 15:38:20 12044

转载 http://blog.csdn.net/blwinner/article/details/53637932

http://blog.csdn.net/blwinner/article/details/53637932Apache Kafka 0.10.0正式发布了，此版本带来了一系列新特性和bug修复，本文介绍新特性Kafka Stream一、概述Kafka Streams是一套类库，它使得Apache Kafka可以拥有流处理的能力，通过使用Kafka Stream

2017-12-04 10:09:07 359

原创 Elasticsearch、Logstash、Kibana、Filebeat的使用总结

ELK是什么？ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称，由这三个软件及其相关的组件可以打造大规模日志实时处理系统。ElasticSearch：是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发

2017-12-01 17:15:31 5015 2