- 博客(25)
- 资源 (1)
- 收藏
- 关注
转载 基于zookeeper的hadoop HA实现
原文地址:https://blog.csdn.net/everl_1/article/details/52303011基于zookeeper实现 HDFS之namenode HA使用journalnode进程,实现active/standby两个namenode进程元数据同步使用zkfc作为namenode进程的伴随监控进程,用于监控active的状态,并在宕机的时候,切换到standbyfenc...
2018-03-26 23:15:08
386
原创 Spark RDD、pair RDD、RDD分区
RDD弹性分布式数据集(Resilient Distributed Dataset)每个 RDD 都被分为多个分区,这些分区运行在集群中的不同节点上。RDD 支 持 两 种 类 型 的 操 作: 转 化 操 作(transformation) 和 行 动 操 作(action)转化操作会由一个 RDD 生成一个新的 RDD行动操作会对 RDD 计算出一个结果,并把结果返回到驱动器程序中,或把结果存...
2018-03-22 13:32:22
871
原创 Lua 数据类型、语法
数据类型string长括号(即[[ ]])括起来的方式定义我们把两个正的方括号(即[[)间插入 n 个等号定义为第 n 级正长括号。就是说,0 级正的长括号写作 [[ , 一级正的长括号写作 [=[ ,如此等等整个词法分析过程将不受分行限制,不处理任何转义符,并且忽略掉任何不同级别的长括号。 这种方式描述的字符串可以包含任何东西booleanLua中nil和false为“假”,其它所有值均为“真”...
2018-03-22 13:32:10
713
原创 Hadoop YARN
Hadoop1.x中MapReduce存在的问题:基于MapReduce:Master/Slave架构,1个JobTracker带多个TaskTracker存在JobTracker单点问题。不能支持除了MapReduce作业之外的其他作业(比如Spark作业)XXX on YARN:底层共享同一个HDFS集群上的数据YARN作为接口层(统一接口抽象、不同实现)各种作业可以运行在YARN之上:Map...
2018-03-22 13:31:56
156
原创 Storm 编程模型
在本地模型下,完成storm编程http://storm.apache.org/releases/1.1.2/Local-mode.htmlhttp://storm.apache.org/releases/1.1.2/Maven.html 在pom.xml中添加storm的maven依赖 <dependency> <groupId>or...
2018-03-22 13:30:39
245
原创 Hadoop HDFS
HDFS架构:1Master(NameNode、NN),带N个Slaves(DataNode,DN)心跳机制:DN定期发送心跳包,给NN,报告自身及block信息。NN汇总Blockreport,维护Metadata(元数据信息)包括filename、number of Relicas、block ids等等文件分块(block)默认blocksize=128M副本机制基于block的复制默认副本...
2018-03-19 13:45:17
198
1
原创 SparkStreaming 进阶与案例实战
updateStateByKey算子需求:统计到目前为止累积出现的单词的个数(需要保持住以前的状态)UpdateStateByKey OperationThe updateStateByKey operation allows you to maintain arbitrary state while continuously updating it with new information. T...
2018-03-19 13:44:52
256
原创 SparkStreaming 核心概念与编程
核心概念:1)StreamingContext2)DStream(batched RDDs)3)Input DStream 、Receiver4)Transformation、Output Operation(RDD的转化、行动操作)StreamingContext常用构造方法:def this(sparkContext: SparkContext, batchDuration: Duration...
2018-03-19 13:44:28
218
原创 Spark 调优与调试
=======================================================================================使用SparkConf配置Spark对 Spark 进行性能调优,通常就是修改 Spark 应用的运行时配置选项。Spark 中最主要的配置机制是通过 SparkConf 类对 Spark 进行配置当创建出一个 SparkCo...
2018-03-19 13:44:08
939
原创 Scala GetStarted
基于IDEA安装运行Scalahttp://docs.scala-lang.org/getting-started-intellij-track/getting-started-with-scala-in-intellij.html因为scala是基于jvm的类python语言。。使用maven添加scala-library的依赖,即可和java无缝使用。推荐,以后都使用scala来编写java代...
2018-03-19 13:43:37
172
原创 MongoDB 分片
分片,就是提供水平扩展能力。。应对海量数据。=========================搭建分片集群三种节点:mongos (s for sharding) 消息路由mongos 需要读取config server的metadata。。所以启动参数是:mongos --configdb <replset_name/config_server:port> mongos和con...
2018-03-19 13:43:17
199
原创 Redis 持久化、复制、性能
1、持久化Persistence:Persistence: Know your options when configuring Redis' durability.两种方式:快照Snapshotting:将某一时刻的所有内存数据存储到硬盘通常rdb文件指的是快照文件(redis database)只追加文件AOF:当执行【写命令】时,将写命令追加到硬盘。两者的区别:快照方式,两次备份间隔通常超过...
2018-03-19 13:43:02
484
原创 Redis 典型应用
1、redis实现投票:使用hash存储一篇文章的信息(存储实体对象信息)使用incr生成自增id使用zset来保存排序列表、根据index进行分页使用文章id作为member、根据业务规则计算score使用set来分组2、redis管理集群应用服务器的session会话:Cookie会话:所有http认证机制,都会使用Cookie来作为每次request的认证信息存储,即用Cookie实现ses...
2018-03-19 13:42:50
249
原创 spring 远程调用服务同步RPC和异步消息MQ
远程调用服务,同步RPC01、远程过程调用(remote procedure call,RPC): RPC类似于调用一个本地对象的一个方法。 是同步操作,会阻塞调用代码的执行,直到被调用的过程执行完毕。这是与消息队列MQ最大的区别。 所以这种方式的远程服务,也叫做同步RPC。02、编程模型一致的Spring支持: 2.1、服务端,配置ServiceExporter,导出S...
2018-03-19 13:42:04
1552
原创 SpringBoot GetStarted
文档传送门Spring Boot Samples推荐书籍:Springboot实战SpringBoot 四个核心概念:起步依赖(Starter Dependcy)自动配置(Auto-Config)CLI(Command Line Interface)Actuator使用 Spring Initializr 创建 Spring Boot 项目SpringBoot 标准目录:整体上,符合maven标准...
2018-03-19 13:41:33
376
原创 Lua GetStarted
GetStarted在线文档推荐书籍:OpenResty最佳实践-201511.pdfLua特性0.速度极快、轻量级在目前所有脚本引擎中,Lua的速度是最快的。Lua适合作为嵌入式脚本。(Redis+Lua、Nginx+Lua等等)1. 变量名没有类型,值才有类型,变量名在运行时可与任何类型的值绑定;类似于js,弱类型。2. 语言只提供唯一一种数据结构(不是唯一的数据类型),称为表(table),...
2018-03-16 15:31:10
297
原创 Linux shell与命令
0、命令行的意义:在于逻辑脚本化1、命令行执行的脚本是shell脚本。shell程序(/bin/bash),其实是shell脚本引擎。。类似于python脚本之于python引擎2、terminal 终端仿真器ssh程序是ssh客户端,sshd程序是ssh服务器。sshd,默认监听22。是用来远程执行shell脚本的工具。d程序后缀,指daemon守护进程,驻留在后台长期运行的程序,一般是CS模式...
2018-03-16 15:28:49
207
原创 linux 添加磁盘、分区、挂载、扩容现有分区
1)fdisk -l 命令 查看磁盘、及其设备的情况除去/dev/mapper/xx 这样的磁盘,剩下的,应该是可以存储文件的磁盘通常命名为/dev/sdX ,其中X,从a开始,以添加磁盘的先后为顺序,依次命名为/dev/sda、/dev/sdb等等磁盘下面,有分区(也叫设备)。。是以当前磁盘加编号命名。比如/dev/sda1、/dev/sda2等未分区的磁盘下面,没有分区 (外设添加的磁盘,是...
2018-03-16 15:26:06
7628
原创 Linux 在vmware上安装centos7
软件准备:1、vmware 122、centos7 minimal版本软件安装:1、安装 vmware。。。VMware 永久许可证密钥5A02H-AU243-TZJ49-GTC7K-3C61N2、安装centos。上述过程,全部根据安装向导的默认设置安装。注意为root用户设置密码。虚机网络配置概述:1、由于虚机是安装在笔记本电脑上的,而笔记本可能随时切换网络环境。所以,虚机网络配置应该使用N...
2018-03-16 15:13:35
334
原创 ElasticStack GetStarted
Elastic Stack结构图1)beats/logstash 数据收集2)elasticsearch 存储、索引搜索、聚合分析等3)kibana 数据可视化、Elasticsearch可视化客户端=======================================Elasticsearch的关键配置:logpath(通用)、datapath(一般数据存储服务有)、 ip/por...
2018-03-16 15:08:50
1630
原创 Elasticsearch 深入搜索
因为带请求体的 GET 请求并不被广泛支持,所以 任何需要带请求体的 GET API 同时支持 POST 请求查询语句(query clauses)的结构QUERY_NAME:{FILED_NAME:{ARGUMENT:VALUE,...}}好像只有match_all,不必指定FIELD_NAME查询语句(Query clauses) 就像一些简单的组合块叶子语句(Leaf clauses)复合...
2018-03-16 15:02:10
211
原创 Elasticsearch 核心概念
和 Elasticsearch 交互参考 Elasticsearch ClientsElasticsearch的java客户端节点客户端作为一个非数据节点加入到本地集群中。轻量级的传输客户端可以将请求发送到远程集群。它本身不加入集群 Java 客户端都是通过9300 端口并使用本地 Elasticsearch 传输 协议和集群交互。所有其他语言可以使用 RESTful API 通过端口 92...
2018-03-16 15:01:03
217
原创 Docker container/service/stack/swarm
In a distributed application, different pieces of the app are called “services.”面向服务的分布式系统架构设计(SOA)若干个基于同一个image的Container instances,构成一个serviceA single container running in a service is called a task...
2018-03-16 14:59:34
1005
原创 docker image/registry
网易云Docker Registrydocker build基于Dockerfile,creates a Docker image使用-t选项,为新创建的image,添加一个tag,作为句柄来引用Where is your built image? It’s in your machine’s local Docker image registry使用docker images查看docker r...
2018-03-16 14:58:51
481
原创 docker GetStarted
GetStarted推荐书籍: docker_practice.pdf在Centos7上安装Docker使用yum Repository方式安装Docker。。方便以后升级You may need to add your user to the docker group in order to call this command without sudo最直接的办法是,安装前直接创建dock...
2018-03-16 14:56:53
187
ajax最常用框架dwr
2013-02-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人