- 博客(16)
- 资源 (39)
- 收藏
- 关注
原创 Centos7用户基本权限轻松管理篇
一、用户组分类:管理员组和普通组 管理员组(root,gid为0) 普通组:gid范围:1-65535,分为系统组和登录组, 系统组(gid范围:1-999)和登录组(gid范围:6000-10000)二、用户的分类: 用户分为:管理用户和普通用户。 (1)管理用户root(uid为0),权利最大的管理...
2018-03-27 16:47:22
37739
转载 高并发计算服务器数量
QPS = req/sec = 请求数/秒【QPS计算PV和机器的方式】QPS统计方式 [一般使用 http_load 进行统计]QPS = 总请求数 / ( 进程总数 * 请求时间 )QPS: 单个进程每秒请求服务器的成功次数单台服务器每天PV计算公式1:每天总PV = QPS * 3600 * 6公式2:每天总PV = QPS * 3600 * 8服务器计算服务器数量 = ceil( ...
2018-03-20 14:08:17
6081
转载 Hadoop 生态系统
1.概述 最近收到一些同学和朋友的邮件,说能不能整理一下 Hadoop 生态圈的相关内容,然后分享一些,我觉得这是一个不错的提议,于是,花了一些业余时间整理了 Hadoop 的生态系统,并将其进行了归纳总结,进而将其以表格的形式进行了罗列。涉及的内容有以下几点:分布式文件系统分布式编程模型NoSQL 数据库SQL-On-Hadoop数据采集编程服务中间件调度系统系统部署数据可视化2.内容2.1 ...
2018-03-15 20:20:26
398
转载 ZooKeeper伸缩性
一、ZooKeeper中Observer1.1 ZooKeeper角色经过前面的介绍,我想大家都已经知道了在ZooKeeper集群当中有两种角色Leader和Follower。Leader可以接受client 请求,也接收其他Server转发的写请求,负责更新系统状态。 Follower也可以接收client请求,如果是写请求将转发给Leader来更新系统状态,读请求则由Follower的内存数据...
2018-03-15 16:40:50
259
转载 ZooKeeper一致性原理
一、ZooKeeper 的实现1.1 ZooKeeper处理单点故障我们知道可以通过ZooKeeper对分布式系统进行Master选举,来解决分布式系统的单点故障,如图所示。图 1.1 ZooKeeper解决单点故障 那么我们继续分析一下,ZooKeeper通过Master选举来帮助分布式系统解决单点故障, 保证该系统中每时每刻只有一个Master为分布式系统提供服务。也就是说分布式的单点问题交给...
2018-03-15 16:40:17
253
转载 ZooKeeper机制架构
一、ZooKeeper权限管理机制 1.1 权限管理ACL(Access Control List) ZooKeeper 的权限管理亦即ACL 控制功能,使用ACL来对Znode进行访问控制。ACL的实现和Unix文件访问许可非常相似:它使用许可位来对一个节点的不同操作进行允许或禁止的权 限控制。但是和标准的Unix许可不同的是,Zookeeper对于用户类别的区分,不止局限于所有者(owner)...
2018-03-15 16:39:31
187
转载 ZooKeeper管理分布式环境中的数据
引言本节本来是要介绍ZooKeeper的实现原理,但是ZooKeeper的原理比较复杂,它涉及到了paxos算法、Zab协议、通信协议等相关知 识,理解起来比较抽象所以还需要借助一些应用场景,来帮我们理解。由于内容比较多,一口气吃不成胖子,得慢慢来一步一个脚印,因此我对后期 ZooKeeper的学习规划如下:第一阶段: |---理解ZooKeeper的应用 |---ZooKeeper是什么...
2018-03-15 16:38:59
165
转载 构建ZooKeeper应用
一、配置服务配置服务是分布式应用所需要的基本服务之一,它使集群中的机器可以共享配置信息中那些公共的部分。简单地说,ZooKeeper可以作为一个具有高可用性的配置存储器,允许分布式应用的参与者检索和更新配置文件。使用ZooKeeper中的观察机制,可以建立一个活跃的配置服务,使那些感兴趣的客户端能够获得配置信息修改的通知。下面来编写一个这样的服务。我们通过两个假设来简化所需实现的服务(稍加修改就可...
2018-03-15 16:38:16
201
转载 Zookeeper命令操作
一、Zookeeper的四字命令Zookeeper支持某些特定的四字命令字母与其的交互。他们大多数是查询命令,用来获取Zookeeper服务的当前状态及相关信息。用户在客户端可以通过telnet或nc向Zookeeper提交相应的命令。Zookeeper常用的四字命令见下图所示。上图,是Zookeeper四字命令的一个简单用例。[root@hadoop ~]# echo ruok|nc local...
2018-03-15 16:35:50
339
转载 ZooKeeper安装配置
一、Zookeeper的搭建方式Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境;■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例;■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble)Zookeeper通过复制来实现高可用性,只要...
2018-03-15 16:32:30
187
转载 zookeeper分布式协调介绍
一、分布式协调技术 在给大家介绍ZooKeeper之前先来给大家介绍一种技术——分布式协调技术。那么什么是分布式协调技术?那么我来告诉大家,其实分布式协调技术 主要用来解决分布式环境当中多个进程之间的同步控制,让他们有序的去访问某种临界资源,防止造成"脏数据"的后果。这时,有人可能会说这个简单,写一个调 度算法就轻松解决了。说这句话的人,可能对分布式系统不是很了解,所以才会出现这种误解。如果这些进...
2018-03-15 15:49:06
235
原创 Jersey拦截器实现ContainerRequestFilter
最近在做API接口安全类似支付宝接口那种方式,为了对所有接口做一致性处理,准备使用拦截器方式在底层。Jersey有两种拦截器ContainerRequestFilter与ContainerResponseFilter,接口请求验证使用ContainerRequestFilter,具体实现代码如下@Provider public class SafeFilter implements Conta...
2018-03-09 10:16:04
7679
6
转载 三个月大数据研发学习计划实战解析
申明:本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的大数据技术学习路径,不适用于大数据工程师的进阶学习,也不适用于零编程基础的同学。前言:一、背景介绍 二、大数据介绍正文:一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划四、持续学习资源推荐(书籍,博客,网站)五、项目案例分析(批处理+实时处理)前言一、背景介绍本人目前是一名大数据工程师,项目数据50T,日均数据增...
2018-03-08 09:06:47
914
原创 通过tomcat控制台部署tomcat serverlet项目导致内存无法释放,出现create a memory leak
tomcat默认有个8080的管理界面,但是用这个区卸载,添加项目会导致每次部署都会有内存上升而降不下来。因为tomcat是进程,而java web项目在tomcat进程内,卸载项目会导致serverlet容器,非托管资源没有释放比如1,连接池2,自己写的任务队列线程,3,mysql的线程;最终可以通过结束tomcat进程重启方式,减少内存占用。或者在程序关闭情况下显示释放资源...
2018-03-06 13:56:18
887
原创 JProfiler工具打开dump文件,分析jar包程序内存过大后cpu100%
开发的收集车辆数据程序跑了3-5小时,就会出现如下结果发现程序运行内存在这几个红点波动,在CPU100%出现一段时间内程序会自动结束。后来利用工具命令分析问题得出是因为内存不够导致一直在GC,因为GC Task Thread占用CPU比较高。具体步骤如下ps -mp 16991 -o THREAD,tid,time |sort -rn 打印CPU最高的线程printf "%x\n" 17864 把...
2018-03-03 13:58:34
14623
4
转载 Java内存泄漏分析和解决
Java当中的内存泄漏1. 什么是内存泄漏?内存泄漏:对象已经没有被应用程序使用,但是垃圾回收器没办法移除它们,因为还在被引用着。在Java中,内存泄漏就是存在一些被分配的对象,这些对象有下面两个特点,首先,这些对象是可达的,即在有向图中,存在通路可以与其相连;其次,这些对象是无用的,即程序以后不会再使用这些对象。如果对象满足这两个条件,这些对象就可以判定为Java中的内存泄漏,这些对象不会被GC...
2018-03-03 10:31:47
317
数字温度计设计报告
2013-04-20
负载均衡软件haproxy
2016-09-11
智慧车联产业生态联盟-手机-汽车互联
2020-10-14
ECU使用GCC进行嵌入式以开发
2022-04-22
ISO 13400_Part1_2_3_4_DoIP汽车车载以太网(新旧)标准_高清非扫描.7z
2021-07-17
ST7789vLCD.7z
2021-03-16
j2ee_cert.7z
2019-11-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅