leedsjung-CSDN博客

转载基于zookeeper的hadoop HA实现

原文地址：https://blog.csdn.net/everl_1/article/details/52303011基于zookeeper实现 HDFS之namenode HA使用journalnode进程，实现active/standby两个namenode进程元数据同步使用zkfc作为namenode进程的伴随监控进程，用于监控active的状态，并在宕机的时候，切换到standbyfenc...

2018-03-26 23:15:08 386

原创 Spark RDD、pair RDD、RDD分区

RDD弹性分布式数据集（Resilient Distributed Dataset）每个 RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。RDD 支持两种类型的操作：转化操作（transformation）和行动操作(action)转化操作会由一个 RDD 生成一个新的 RDD行动操作会对 RDD 计算出一个结果，并把结果返回到驱动器程序中，或把结果存...

2018-03-22 13:32:22 871

原创 Lua 数据类型、语法

数据类型string长括号（即[[ ]]）括起来的方式定义我们把两个正的方括号（即[[）间插入 n 个等号定义为第 n 级正长括号。就是说，0 级正的长括号写作 [[ ，一级正的长括号写作 [=[ ，如此等等整个词法分析过程将不受分行限制，不处理任何转义符，并且忽略掉任何不同级别的长括号。这种方式描述的字符串可以包含任何东西booleanLua中nil和false为“假”，其它所有值均为“真”...

2018-03-22 13:32:10 713

原创 Hadoop YARN

Hadoop1.x中MapReduce存在的问题：基于MapReduce：Master/Slave架构，1个JobTracker带多个TaskTracker存在JobTracker单点问题。不能支持除了MapReduce作业之外的其他作业（比如Spark作业）XXX on YARN：底层共享同一个HDFS集群上的数据YARN作为接口层（统一接口抽象、不同实现）各种作业可以运行在YARN之上：Map...

2018-03-22 13:31:56 156

原创 Storm 编程模型

在本地模型下，完成storm编程http://storm.apache.org/releases/1.1.2/Local-mode.htmlhttp://storm.apache.org/releases/1.1.2/Maven.html 在pom.xml中添加storm的maven依赖 <dependency> <groupId>or...

2018-03-22 13:30:39 245

原创 Hadoop HDFS

HDFS架构：1Master（NameNode、NN），带N个Slaves（DataNode，DN）心跳机制：DN定期发送心跳包，给NN，报告自身及block信息。NN汇总Blockreport，维护Metadata（元数据信息）包括filename、number of Relicas、block ids等等文件分块（block）默认blocksize=128M副本机制基于block的复制默认副本...

2018-03-19 13:45:17 198 1

原创 SparkStreaming 进阶与案例实战

updateStateByKey算子需求：统计到目前为止累积出现的单词的个数(需要保持住以前的状态)UpdateStateByKey OperationThe updateStateByKey operation allows you to maintain arbitrary state while continuously updating it with new information. T...

2018-03-19 13:44:52 256

原创 SparkStreaming 核心概念与编程

核心概念：1）StreamingContext2）DStream（batched RDDs）3）Input DStream 、Receiver4）Transformation、Output Operation（RDD的转化、行动操作）StreamingContext常用构造方法：def this(sparkContext: SparkContext, batchDuration: Duration...

2018-03-19 13:44:28 218

原创 Spark 调优与调试

=======================================================================================使用SparkConf配置Spark对 Spark 进行性能调优，通常就是修改 Spark 应用的运行时配置选项。Spark 中最主要的配置机制是通过 SparkConf 类对 Spark 进行配置当创建出一个 SparkCo...

2018-03-19 13:44:08 939

原创 Scala GetStarted

基于IDEA安装运行Scalahttp://docs.scala-lang.org/getting-started-intellij-track/getting-started-with-scala-in-intellij.html因为scala是基于jvm的类python语言。。使用maven添加scala-library的依赖，即可和java无缝使用。推荐，以后都使用scala来编写java代...

2018-03-19 13:43:37 172

原创 MongoDB 分片

分片，就是提供水平扩展能力。。应对海量数据。=========================搭建分片集群三种节点：mongos （s for sharding）消息路由mongos 需要读取config server的metadata。。所以启动参数是：mongos --configdb <replset_name/config_server:port> mongos和con...

2018-03-19 13:43:17 199

原创 Redis 持久化、复制、性能

1、持久化Persistence：Persistence: Know your options when configuring Redis' durability.两种方式：快照Snapshotting：将某一时刻的所有内存数据存储到硬盘通常rdb文件指的是快照文件（redis database）只追加文件AOF：当执行【写命令】时，将写命令追加到硬盘。两者的区别：快照方式，两次备份间隔通常超过...

2018-03-19 13:43:02 484

原创 Redis 典型应用

1、redis实现投票：使用hash存储一篇文章的信息（存储实体对象信息）使用incr生成自增id使用zset来保存排序列表、根据index进行分页使用文章id作为member、根据业务规则计算score使用set来分组2、redis管理集群应用服务器的session会话：Cookie会话：所有http认证机制，都会使用Cookie来作为每次request的认证信息存储，即用Cookie实现ses...

2018-03-19 13:42:50 249

原创 spring 远程调用服务同步RPC和异步消息MQ

远程调用服务，同步RPC01、远程过程调用（remote procedure call，RPC）： RPC类似于调用一个本地对象的一个方法。是同步操作，会阻塞调用代码的执行，直到被调用的过程执行完毕。这是与消息队列MQ最大的区别。所以这种方式的远程服务，也叫做同步RPC。02、编程模型一致的Spring支持： 2.1、服务端，配置ServiceExporter，导出S...

2018-03-19 13:42:04 1552

原创 SpringBoot GetStarted

文档传送门Spring Boot Samples推荐书籍：Springboot实战SpringBoot 四个核心概念：起步依赖（Starter Dependcy）自动配置（Auto-Config）CLI（Command Line Interface）Actuator使用 Spring Initializr 创建 Spring Boot 项目SpringBoot 标准目录：整体上，符合maven标准...

2018-03-19 13:41:33 376

原创 Lua GetStarted

GetStarted在线文档推荐书籍：OpenResty最佳实践-201511.pdfLua特性0.速度极快、轻量级在目前所有脚本引擎中，Lua的速度是最快的。Lua适合作为嵌入式脚本。（Redis+Lua、Nginx+Lua等等）1. 变量名没有类型，值才有类型，变量名在运行时可与任何类型的值绑定;类似于js，弱类型。2. 语言只提供唯一一种数据结构（不是唯一的数据类型），称为表(table)，...

2018-03-16 15:31:10 297

原创 Linux shell与命令

0、命令行的意义：在于逻辑脚本化1、命令行执行的脚本是shell脚本。shell程序（/bin/bash），其实是shell脚本引擎。。类似于python脚本之于python引擎2、terminal 终端仿真器ssh程序是ssh客户端，sshd程序是ssh服务器。sshd，默认监听22。是用来远程执行shell脚本的工具。d程序后缀，指daemon守护进程，驻留在后台长期运行的程序，一般是CS模式...

2018-03-16 15:28:49 207

原创 linux 添加磁盘、分区、挂载、扩容现有分区

1）fdisk -l 命令查看磁盘、及其设备的情况除去/dev/mapper/xx 这样的磁盘，剩下的，应该是可以存储文件的磁盘通常命名为/dev/sdX ，其中X，从a开始，以添加磁盘的先后为顺序，依次命名为/dev/sda、/dev/sdb等等磁盘下面，有分区（也叫设备）。。是以当前磁盘加编号命名。比如/dev/sda1、/dev/sda2等未分区的磁盘下面，没有分区（外设添加的磁盘，是...

2018-03-16 15:26:06 7628

原创 Linux 在vmware上安装centos7

软件准备：1、vmware 122、centos7 minimal版本软件安装：1、安装 vmware。。。VMware 永久许可证密钥5A02H-AU243-TZJ49-GTC7K-3C61N2、安装centos。上述过程，全部根据安装向导的默认设置安装。注意为root用户设置密码。虚机网络配置概述：1、由于虚机是安装在笔记本电脑上的，而笔记本可能随时切换网络环境。所以，虚机网络配置应该使用N...

2018-03-16 15:13:35 334

原创 ElasticStack GetStarted

Elastic Stack结构图1）beats/logstash 数据收集2）elasticsearch 存储、索引搜索、聚合分析等3）kibana 数据可视化、Elasticsearch可视化客户端=======================================Elasticsearch的关键配置：logpath（通用）、datapath（一般数据存储服务有）、 ip/por...

2018-03-16 15:08:50 1630

原创 Elasticsearch 深入搜索

因为带请求体的 GET 请求并不被广泛支持，所以任何需要带请求体的 GET API 同时支持 POST 请求查询语句（query clauses）的结构QUERY_NAME:{FILED_NAME:{ARGUMENT:VALUE,...}}好像只有match_all，不必指定FIELD_NAME查询语句(Query clauses) 就像一些简单的组合块叶子语句（Leaf clauses）复合...

2018-03-16 15:02:10 211

原创 Elasticsearch 核心概念

和 Elasticsearch 交互参考 Elasticsearch ClientsElasticsearch的java客户端节点客户端作为一个非数据节点加入到本地集群中。轻量级的传输客户端可以将请求发送到远程集群。它本身不加入集群 Java 客户端都是通过9300 端口并使用本地 Elasticsearch 传输协议和集群交互。所有其他语言可以使用 RESTful API 通过端口 92...

2018-03-16 15:01:03 217

原创 Docker container/service/stack/swarm

In a distributed application, different pieces of the app are called “services.”面向服务的分布式系统架构设计（SOA）若干个基于同一个image的Container instances，构成一个serviceA single container running in a service is called a task...

2018-03-16 14:59:34 1005

原创 docker image/registry

网易云Docker Registrydocker build基于Dockerfile，creates a Docker image使用-t选项，为新创建的image，添加一个tag，作为句柄来引用Where is your built image? It’s in your machine’s local Docker image registry使用docker images查看docker r...

2018-03-16 14:58:51 481

原创 docker GetStarted

GetStarted推荐书籍： docker_practice.pdf在Centos7上安装Docker使用yum Repository方式安装Docker。。方便以后升级You may need to add your user to the docker group in order to call this command without sudo最直接的办法是，安装前直接创建dock...

2018-03-16 14:56:53 187

leedsjung的博客