关闭
当前搜索:

[置顶] spark常用RDD算子 汇总(java和scala版本)

spark RDD的算子挺多,有时候如何灵活的使用,该如何用一下子想不起来,这一段时间将spark的算子如何使用的例子给记录了下来,下面是spark RDD 的一些常用算子的使用 这些算子包括有java的,也有scala的语言,由于精力有限,暂时没有python的,以后有空再加上吧 spark RDD算子(一) parallelize,makeRDD,textFile spark RDD算子(...
阅读(976) 评论(0)

yarn资源管理最佳实践

原文翻译自 https://mapr.com/blog/best-practices-yarn-resource-management/#.Ve5bLdOqoVU 有改动 – 翻译以及记录的目的是对yarn进行合理的资源配置,以及yarn平台出错后的分析这篇文章主要是讨论YARN资源管理的最佳实践,YARN的基本理论是将资源管理和任务调度分离, 所以设计了一个全局的资源管理器 ResourceM...
阅读(112) 评论(0)

Container is running beyond virtual memory limits. Current usage: 611.1 MB of 1 GB physical memory u

hadoop Container [pid=100287,containerID=container_1513249052998_0007_01_000009] is running beyond virtual memory limits. Current usage: 611.1 MB of 1 GB physical memory used; 4.9 GB of 3 GB virtual memory us...
阅读(44) 评论(0)

storm分区,并行度笔记- Introducing parallelism in Storm

本文来自Book- 《Storm Blueprints.Patterns》:,个人觉得讲的非常好,就在这做了一个笔记 英语很简单,个人感觉并不需要翻译introducing parallelism in StormRecall from the introduction(间接中提到) that Storm allows a computation to scale horizontally(横向扩...
阅读(62) 评论(0)

storm的第一个例子

Storm的一个简单例子: 本文不涉及到各种细节,只是一个简单的storm程序,用于快速入门例子简介有一个数据源,不断随机发送字符串aa,bb,cc,dd,ee,ff 中选择一个发送给一个程序进行处理。这个程序将这个字符串打印到控制台写道log里面,然后传给下一个程序,下一个程序把这个字符串保存到本地文件。 设计这就是一个流式的处理过程。联想到Storm的拓扑图 我们可以想到, Spou...
阅读(99) 评论(0)

Storm简介

Storm简介是Twitter开源的一个分布式实时计算系统,主要用于数据的实时分析,持续计算,分布式RPC等等。具体简介见google,话不多说 Storm特点: 低延迟:实时计算系统必须要有的 高性能:可以使用普通的服务器建立环境,节约成本。 分布式:适合于分布式计算,适合大数据实时分析,群狼战猛虎 可扩展:就是说可以增加机器等了,支持水平扩展 容错:分布式系统的通用问题,一个节点挂了也不会...
阅读(57) 评论(0)

xmanger登录linux图形桌面

最近经常在本地调试的东西,放在服务器上就运行不了,有时候本地的机器远远没有服务器上的机器强大,这时候想的就是在服务器上装上各种环境,例如eclipse,idea或者其他的环境。这时候,就需要自己能直接使用桌面来进行调试了。 想起之前都是使用ubuntu进行开发,centos自带的桌面系统也是可以支持这些idea的呀,可是我们不可能跑到机房去使用远程桌面系统,这时候,Xmanger就派上用场了本地下载...
阅读(111) 评论(0)

centos安装screen ubuntu安装screen 编译安装screen

yun安装:yum install screen ubuntu 的 apt-get安装sudo apt-get update sudo apt-get install screen编译安装为什么我需要编译安装,因为我所操作的集群不能连外网 tar.gz 下载地址: https://ftp.gnu.org/gnu/screen/ 解压: 略编译 cd screen-4.6.2./conf...
阅读(192) 评论(0)

zookeeper Curator框架简单使用

Curator框架的目的 Curatot框架使用一,Curator的基本方法,创建连接,Curator创建节点,删除节点,读取和修改数据,异步回调方法,读取子节点方法,判断子节点是否存在,讲上面异步回调的那个线程池的作用,CuratorWatcher,Curator场景应用一,分布式锁功能,分布式计数器功能,barrier功能,集群的功能...
阅读(119) 评论(0)

zookeeper的ACL

什么是ACLACL 叫做Access Control List,ACL(访问控制列表),例如linux中的文件系统中就有ACL,传统的文件系统中,ACL分为两个维度,一个是属组,一个是权限。 子目录/文件默认继承父目录的ACL。而在Zookeeper中,node的ACL是没有继承关系的,是独立控制的。Zookeeper的ACL,可以从三个维度来理解:一是scheme; 二是user; 三是perm...
阅读(105) 评论(0)

zookeeper的zkclient的使用简介

前言Zookeeper的原生API,就之前的那一些,用起来还是比较麻烦的,所以,有些工程师对原生的API接口进行了封装,简化了ZK的复杂性。 1. 创建客户端的方法: ZKClient(Arguments) - 参数1:zkServer zookeeper服务器的地址,用”,”分割 - 参数2:sessionTimeout超时回话,为毫秒,默认是30000ms - 参数3:connectio...
阅读(143) 评论(0)

zookeeper的watch(原生API)

Zookeeper的watcher事件zookeeper有watch事件,是一次性触发的,当watch监视的数据发生变化时,通知设置了该watch的client,即watcher。 同样,其watcher是监听数据发生了某些变化,那就一定会有对应的事件类型,和状态类型。 事件类型(znode节点相关的) - EventType.NodeCreated - EventType.NodeData...
阅读(87) 评论(0)

zookeeper分布式锁思路(无代码)

什么是分布式锁想必大家肯定很熟悉多线程之间的锁,他们属于同一个jvm,才能实现资源的共享,保证数据一致性,但是,如果在分布式的机器中,我们如何保证数据的一致性呢,这里就需要用到分布式锁的问题。 分布式读写数据库的分布式锁假设有以下场景。 1. 一个WEB应用,部署到多台服务器中,其中通过nginx等一些手段进行负载均衡,每个用户的请求数据,都会负载均衡的由多台服务器处理。 2. 如果多台服务器...
阅读(125) 评论(0)

操作zookeeper之原生API的基本操作

**关键字:** java原生API,创建连接,创建节点同步方式,获取节点信息,获取子节点信息,修改节点的值 ,判断节点是否存在,删除节点,Zookeeper创建删除等节点的异步方式 java惭怍zooleeper,一种是原生API,一种是zkclient方式,一种是curator框架操作...
阅读(99) 评论(0)

搭建zookeeper集群

Zookeeper环境搭建 前期准备: 由于Zookeeper需要先安装java机器: 三台测试机器 192.168.1.31 192.168.1.32 192.168.1.33 上传zookeeper的压缩包 三个节点都解压到usr/local下 [root@kaishun local]# tar zxvf zookeeper-3.4.5.tar.gz -C /usr/loca...
阅读(117) 评论(0)

zookeeper简介

zookeeper简介zookeeper主要是一个分布式服务协调框架,实现同步服务,配置维护和命名服务等分布式应用。是一个高性能的分布式数据一致性解决方案。 zookeeper是一个高可用的分布式管理与协调框架,给予ZAB算法(原子消息广播协议)的实现。该框架能很好的保证分布式环境中数据的一致性。也正是由于这样的特性,使得zookeeper成为了解决分布式一致性问题的利器。 顺序一致性 从客户端...
阅读(151) 评论(0)

Netty入门三之最佳实践

关键字 最佳实践: 数据通信,心跳检测代码在 https://github.com/zhaikaishun/NettyTutorial 代码在SocketIO_03下 – Netty最佳实践实际场景一:数据通信我们需要考虑两台或者多台机器使用Netty如何进行通信,作者个人大体上把他分为3种 第一种,使用长连接通道不断开的形式进行通信,也就是服务器和客户端的通道一直处于开启状态 ,如果服务器性能...
阅读(89) 评论(0)

Netty入门二 之解编码

关键字:Netty解编码,JBoss Marshalling, 代码在 https://github.com/zhaikaishun/NettyTutorial 在SocketIO_02 kaishun.netty.serial下 Netty解编码技术解编码技术,说白了就是java序列化技术,序列化的目的就两个,第一进行网络传输,第二对象持久化 虽然我们可以使用java进行对象序列化,nett...
阅读(121) 评论(0)

Netty入门一

关键字: Netty简介,Netty实现通信的步骤,绑定多个端口,TCP粘包、拆包问题,DellmiterBasedFrameDecoder(自定义分隔符), FixedLengthFrameDecoder(定长)代码在 https://github.com/zhaikaishun/NettyTutorial 下的socketIO02Netty简介Netty是一个高性能、异步事件驱动的NIO框架,...
阅读(300) 评论(0)

传统的socket之BIO到伪异步IO到NIO最后到AIO简介

关键字:NIO, IO,BIO,AIO的简介以及演变原因 如果想深入学习nio, 参考 http://www.iteye.com/magazines/132-Java-NIO java nio 系列教程 本人对nio确实也了解的不深,此文只是简介 代码在 https://github.com/zhaikaishun/NettyTutorial...
阅读(149) 评论(0)

【多线程高并发】java锁的高级

关键字:Concurrent.util常用类,CountDownLacth,CyclicBarrier,Callable和Future, 重入锁ReentrantLock, 锁的等待、通知,lock锁, 单Condition,多Condition,ReentrantReadWriteLock 读写锁,github 地址: https://github.com/zhaikaishun/concurre...
阅读(97) 评论(0)
133条 共7页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:193050次
    • 积分:3177
    • 等级:
    • 排名:第12262名
    • 原创:120篇
    • 转载:5篇
    • 译文:8篇
    • 评论:25条