- 博客(42)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Zookeeper到底是AP还是CP？
1.结论：Zookeeper实现了A可用性、P分区容错性、C中的写入强一致性，丧失的是C中的读取一致性，读取准确地说是顺序一致性主要有以下三点：从一个读写请求分析，保证了可用性（不用阻塞等待全部follwer同步完成），保证不了数据的一致性，所以是ap。从zk架构分析，zk在leader选举期间，会暂停对外提供服务（为啥会暂停，因为zk依赖leader来保证数据一致性)，所以丢失了可用性，保证了一致性。进一步讲：这个c不是强一致性，而是最终一致性。即上面的写案例，数据最终会同步到一致，只是时间问
2021-08-27 05:57:54
8636
3
原创 系统设计的一些思考
被问及一些系统设计思考一：你的工程项目在高可用保障方面，都做过哪些工作，如何体现？二：限流你是怎么使用的？高并发场景中的优化。Dubbo三：常用的熔断手法有哪些？Dubbo四：分布式一致算法有哪些？各有什么区别。1.Paxos2.Raft3.ZAB 自惭形秽，几年的工作经历，这些问题都没有深刻思考过，终究还需要沉下来深入学习。...
2021-08-21 22:25:03
238
原创 Ambari Hadoop 开启HTTPS证书制作始末
1 .下文为开启Ambari HTTPS相应步骤。在集群内每个节点，创建hadoop https目录，执行：mkdir -p /etc/security/hadoopStore;chmod 755 /etc/security/hadoopStore;在Ambari Server节点，生成CA根证书，执行：openssl req -new -x509 -nodes -keyout...
2019-01-14 17:06:53
1114
原创 Ambari Metrics System之后台报错client.AsyncProcess: #1, waiting for 4763 actions to finish
众所周知，目前AMS系统后台的指标数据存储采用的是HBase，不过只是一个拥有单个regionserver的简易版HBase，由于只有一台实际RegionServer，所以所有的读写请求都会指向这一台Regionerver。此阉割版的HBase并未真正发挥出HBase的分布式特性，也背离了HBase使用的初衷。本质上讲，和单节点的普通数据库没有太大差别。因此其负载非常巨大，经常会在ambari-me
2018-04-18 17:45:43
3650
原创 Https原理及实践
1.Https原理HTTPS要使客户端与服务器端的通信过程得到安全保证，必须使用的对称加密算法，但是协商对称加密算法的过程，需要使用非对称加密算法来保证安全，然而直接使用非对称加密的过程本身也不安全，会有中间人篡改公钥的可能性，所以客户端与服务器不直接使用公钥，而是使用数字证书签发机构颁发的证书来保证非对称加密过程本身的安全。这样通过这些机制协商出一个对称加密算法，就此双方使用该算法进行加密解密。从
2017-10-09 18:05:04
704
转载 Git使用流程
此文转载于：http://blog.justwe.site/2017/05/27/git-workflow/ 老夫的毕生功力都在这了…通常我们工作时是这样操作说一下使用 git 做版本控制的时候的工作流程1.git add -A #需要添加到版本库中的文件 -A 就代表着所有文件(除开了 .gitignore忽略掉的文件)2.git commit -m '本次提交的备注'3.git pul
2017-09-11 09:47:01
368
原创 XShell快捷键指南
XShell快捷键指南光标移动ctrl + a（home按键） 将光标移动到命令行开头相当于VIM里shift+^ctrl + e (end按键） 将光标移动到命令行结尾处相当于VIM里shift+$ctrl + f 光标向后移动一个字符相当于VIM里lctrl + b 光标向前移动一个字符相当于VIM里hctrl + 方向键左键 光标移动到前一个单词开头ctrl + 方向键右键 光标移
2017-07-18 09:04:40
1292
原创 MarkDown语法分析
前言：之前项目组leader就要求用markdown来写一些产品说明文档，初次接触markdown当时确不知道是啥，写着感觉特别别扭，习惯了word排版形式，刚来接触这个一直不太习惯，跌跌撞撞好久都未曾理解所以然，所以花下心思想细细学习一番。看网上说markdown语法都很简单，但是个人经过理解后发现，要懂它还得花一段时间去适应一下，至于其好处，确实没发现多少，我个人倒是觉得很繁琐。不过大家推崇一定
2017-07-16 21:10:01
715
原创 Java垃圾回收日志解析
Java垃圾回收日志解析1.开启垃圾回收日志 在运行一个java程序时可以在命令行中加入相应的JVM垃圾回收参数，获取程序运行时详细的垃圾回收日志信息。以下是一些大概的参数：-XX:+PrintGC与-verbose:gc 这两个命令效果都是一样，打印最基本的回收信息-XX:+PrintGCDetails 可以打印详细GC信息至控制台-XX:+PrintGCDateStamps 可
2017-07-14 10:42:12
4522
原创 深入Ambari Metrics 机制分析
0.简介 Ambari作为一款针对大数据平台的运维管理工具，提供了集群的创建，管理，监控，升级等多项功能，目前在业界已经得到广泛使用。Ambari指标系统（ Ambari Metrics System，以下简称AMS）主要负责监控平台各类服务及主机的运行情况，提供各类服务及主机的相关指标，从而达到判断集群健康情况的目的，其重要性不言而喻。 本文是在深入阅读AMS源代码的基础之上，力求能够
2017-03-28 17:35:23
8167
原创 远程调试Ambari Metrics System
Ambari Metric System（以下简称AMS）作为Ambari中用作监控的独立的模块，其核心即是一个TimelineServer，其具有自己的内在工作机制，类似一个WEB服务。如下图所示，是其在Ambari中的源码结构： 因此针对Ambari Server 的远程调试，并不能同时调试AMS，毕竟它们的端口也不相同。如果想调试AMS，则必须要在AMS的启动参数中加上对应的
2017-03-08 18:13:55
785
原创 使用IDEA对Ambari Server进行远程调试
1.配置端口 Ambari Server默认配置了服务端的debug参数，端口为5005。如果要修改端口，可以在/usr/sbin/ambari-server.py文件中对应地方修改，直接改5005端口即可。代码如下： SERVER_START_CMD_DEBUG = "{0} " \ "-server -XX:NewRatio=2 " \ "-XX:+UseConcMarkS
2017-02-20 18:40:36
2548
9
原创 Linux的hostname详细说明
参考文章：http://www.cnblogs.com/kerrycode/p/3595724.html 上文以原理的方式直接写出了hostname的来龙去脉，想深入的可以看看，本文在上文的基础上直奔结果，想快捷确认hostname的情况的可直接参考此文，本文从以下３点明确hostname的定义。 1.到底如何彻底（永久性）修改hostname？ 在linux系统上执行hostname
2017-02-20 13:58:50
11328
原创 如何迁移Ambari Server主节点
1.备份当前数据（1）停止原ambari-server （2）切换到home目录下，导出原数据库数据 pg_dump -U ambari ambari > ambari.sql Password: bigdata pg_dump -U mapred ambarirca > ambarirca.sql Password: mapred（3）将导出的ambari.sql，ambari
2017-02-08 16:48:53
2684
原创 Ambari-Metrics数据表说明
1.总体Metrics表说明表名描述清理时间（默认）间隔(默认)METRIC_RECORD用于记录每个机器上收集的每个 Metrics 属性1 天(1)主机Metric：60(2)hadoop metric:60+1(sink间隔)，默认为70sMETRIC_RE
2016-11-04 14:24:45
2998
原创 Ambari-Metrics配置指南
Ambari-Metrics配置指南1.常规配置项属性默认值说明timeline.metrics.service.operation.mode(timelineServer里面存储实际Metric数据hbase的模式，默认为embedded,即hbase数据存储在本地文件系统中)embedded改成di
2016-08-24 18:23:37
5479
原创 Linux下查看cpuinfo相关信息注释
在linux系统中，常用的cat /proc/cpuinfo该是许多人常用的命令吧，今天才发现自己竟然很多意义都不懂，特摘录如下，这是虚拟机中的Linxu系统，与实际的直接安装的Linux系统的机器有些区别。processor ：系统中逻辑处理核的编号。对于单核处理器，则课认为是其CPU编号，对于多核处理器则可以是物理核、或者使用超线程技术虚拟的逻辑核，我的电脑是4个核，就
2016-03-14 21:13:12
1162
原创 HBase之MinorCompact全程解析
Compact作用 当MemStore超过阀值的时候，就要flush到HDFS上生成一个HFile。因此随着不断写入，HFile的数量将会越来越多，根据前面所述，HFile数量过多会降低读性能。为了避免对读性能的影响，可以对这些HFile进行compact操作，把多个HFile合并成一个HFile。compact操作需要对HBase的数据进行多次的重新读写，因此这个过程会产生大量的
2016-01-04 16:02:34
12060
10
原创 HBase+Phoenix平台统计数据出现异常
大体上是统计查询20天的数据总数，数据量大概10多个亿，算起来还行啊，就是报这个错误。在源码中找到报错的地方，大体上是客户端向服务端发送完查询请求，但是服务端还在处理时，客户端已经关掉连接了，各种配置RPC.Timeout，什么配置项都调了，回头还是没用？？？大神们，求帮忙呢。
2015-11-15 17:42:47
1855
原创 原码，补码，反码的由来与转换
原码、反码、补码的来由我们知道计算机只能识别0和1，使用的是二进制。而在日常生活中人们使用的是十进制，并且我们用的数值有正负之分。于是在计算机中就用一个数的最高位存放符号(0为正，1为负)。这就是机器数的原码了。有了数值的表示方法就可以对数进行算术运算，但是很快就发现用带符号位的原码进行乘除运算时结果正确，而在加减运算的时候就出现了问题，如下：假设字长为8bits。(1) 10 -(1
2015-10-18 14:24:50
2141
4
原创 Linux占用端口进程查询
Linux端口占用是个常见的问题，此时需要排查占用端口的相关程序，以下总结了几种方法。涉及到一些简单地命令，如netstat,ps,lsof等。下面以为50070端口为例，此时要查询端口情况。方法1.快速定位程序，输入lsof -i:50070。此时就可以看到命令，及对应的PID。下面再根据ps -ef|grep 15645，找到执行的进程。方法2：netstat
2015-10-16 11:20:32
976
原创 Linux Vi编辑器的使用
1、vi的基本概念 基本上vi可以分为三种状态，分别是命令模式（commandmode）、插入模式（Insert mode）和底行模式（lastline mode） 1) 命令行模式commandmode） 控制屏幕光标的移动，字符、字或行的删除，移动复制某区段及进入Insert mode下，或者到 last line mode。 2) 插入模式（Insert m
2015-10-15 19:32:08
934
转载 java 虚拟机--新生代与老年代GC
本文转载自：http://my.oschina.net/sunnywu/blog/332870，特此申明。摘要 堆设置 -Xms :初始堆大小 -Xmx :最大堆大小 -XX:NewSize=n :设置年轻代大小 -XX:NewRatio=n: 设置年轻代和年老代的比值。如:为3，表示年轻代与年老代比值为1：3，年轻代占整个年轻代年老代和的1/4 -XX:SurvivorRatio
2015-10-09 21:41:25
825
原创 HadoopWeb界面：Hadoop Non DFS Used concept
最近一直在奇怪NonDFSUsed容量是什么东西，然后花了一点时间研究了一番，进而引出了一些小的知识点。上面两幅图是hadoop集群节点的情况，下面一台是63节点的磁盘使用情况，hadoop节点的存储目录就是在/data0下面的。 （1）首先是关于hadoop的存储配置，因为是挂在/data0下面，配置的存储空间就为853个G，这其中有个小配置，dfs.datanode.du.reserved
2015-09-23 14:24:40
7447
转载 位运算及其应用详解
原文出自：http://blog.chinaunix.net/uid-21411227-id-1826986.html一．逻辑运算符 1.& 位与运算 1) 运算规则 位与运算的实质是将参与运算的两个数据，按对应的二进制数逐位进行逻辑与运算。例如：int型常量4和7进行位与运算的运算过程如下：4=0000 0000 0000 0100 &7 =0000 0000 0000 0
2015-09-12 10:32:56
1005
转载 杜绝低效的七大习惯
原文地址：http://wenku.baidu.com/view/d4ba5fbd960590c69ec3769d.html就像寻找对你有益的习惯一样，寻找妨碍你的习惯同样重要。7种习惯中大多数都可能会轻易成为你日常生活的一部分，使你难以察觉它的存在（或者它如何影响到你）。略微尝试这些习惯，结果毫无疑问，那些重要的事情没有几个可以完成。同时也要添加说明的是，这只是在生活中你可能形成的影
2015-08-27 17:28:54
871
原创 HBase+HDFS出现的SocketTimeoutException错误
HBase的SocketTimeoutException错误，这个是在HBase子节点中时常报的错误，如图： 但是却没有影响集群运行，在网上搜集了很多资料，一直觉得这也是hdfs端错误造成的，查看hadoop中datanode子节点日志，意外发现这里面时常也会出现： 查看了网上很多说明，最终都归结到dfs.socket.timeout这个配置项中来了
2015-08-27 16:52:51
7304
4
原创 HBase性能优化完全版
近期在处理HBase的业务方面常常遇到各种瓶颈，一天大概一亿条数据，在HBase性能调优方面进行相关配置和调优后取得了一定的成效，于是，特此在这里总结了一下关于HBase全面的配置，主要参考我的另外两篇文章：（1）http://blog.csdn.net/u014297175/article/details/47975875（2）http://blog.csdn.net/u01429717
2015-08-25 17:11:21
8988
原创 HBase之BlockCache数据读取
HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读数据；上面一篇文章已经介绍过Memstore，这里主要介绍读取数据的部分，即BlockCache。 BlockCache主要提供给读使用。读请求先到memstore中查数据，查不到就到blockcache中查，再查不到就会到磁盘上读，并把读的结果放入b
2015-08-25 14:50:11
7627
原创 HBase之Memstore刷写
Hbase—MemstoreHBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读数据；这里主要介绍写数据的部分，即Memstore。当RegionServer(RS)收到写请求的时候(writerequest)，RS会将请求转至相应的Region。每一个Region都存储着一些列(a set of
2015-08-25 13:45:19
7130
原创 Eclipse下buildpath和导入jar包问题
在eclipse下用Java Build Path导入包和把包复制到lib下是有区别的，它俩其实不会冲突，也没有什么关系的，Java Build Path是我们编译需要的包，在比如在import ***.***.***时如果没用Java Build Path导入包的话类里面就有红叉，说不识别这个类； 在实际应用时需要把真正的jar包导入到项目中，可以在项目中新建一个lib包，
2015-07-23 09:13:09
3998
原创 Hadoop学习视频电子书及相应心得
近一年来一直都在学习Hadoop，初接触时感觉是个全新的领域，后期随着学习的深入，本质上觉得就是那些Java大神写出来的一个分布式计算框架，终究还是Java的综合应用和架构的综合设计，除了Java语言的要求非常之高，还得有这种分布式处理的思想。Doug Cutting实在令我等膜拜。好了不说废话了，下面分享一些Hadoop及Java视频学习资料。1.Hadoop视频百度云链接：ht
2015-07-08 15:07:57
1536
1
原创 IP,子网掩码，网关，DNS的关系解析
1.比喻介绍IP和网关，DNS之间的关系 假设你的名字叫小不点，你住在一个大院子里，你的邻居有很多小伙伴，在门口传达室还有个看大门的李大爷，李大爷就是你的网关。当你想跟院子里的某个小伙伴玩，只要你在院子里大喊一声他的名字，他听到了就会回应你，并且跑出来跟你玩。 但是你不被允许走出大门，你想与外界发生的一切联系，都必须由门口的李大爷（网关）用电话帮助你联系。假如你想找你的同学小明聊天，小明家住在
2015-06-29 12:29:53
6204
原创 Hadoop测试-简单分布式程序运行
1.PI计算 1.1 基本步骤 （1）首先切换到hadoop的安装目录下，可以看到hadoop的安装目录中已经自带了一些小程序，都打包在hadoop-examples-1.2.1.jar中，下一步就是如何打开jar包。 （2）在命令行中，直接键入hadoop，可以显示各种命令用法。 可以看到，其中有个jar，用于运行jar文件。 （3）接下来输入hadoop jar hadoop-ex
2015-06-13 09:38:14
1881
原创 Hadoop基本操作命令
1.Hadoop的dfs基本操作 凡是hadoop dfs后面跟的都是关于hadoop文件系统的相关命令，这里就简单列举一些常用的关于dfs的操作命令。 1、查看指定目录下内容 hadoop dfs –ls [文件目录] eg: hadoop dfs –ls /user/wangkai.pt 2、打开某个已存在文件 hadoop dfs –cat [file_path] eg:ha
2015-06-13 09:26:26
1016
原创 Hadoop安装
1.前提 Hadoop安装之前必须在主机以及虚拟机中都配置静态IP地址，修改完主机名以及把主机名和IP绑定，并在window中验证将其ping通，这些安装步骤在上文中都已经提到，在此不再详细叙述，具体参见上篇文档。 其次就是JDK安装以及路径的配置，具体的在上篇文档也都已经提及，具体的安装及环境配置参见上篇文档。 2.Hadoop安装步骤 2.1 关闭防火墙 首先查看防火墙状态，如
2015-06-13 09:19:09
874
原创 Linux基本操作及使用工具
1.工具使用 首先打开虚拟软件，修改虚拟机的名字，更改虚拟机的网络配置方式，将其改成NAT方式，启动虚拟机。虚拟机启动后在可视化界面中，采取DHCP自动分配方式看虚拟网络自动生成的网络，输入ifconfig查看到自动分配地址192.168.218.129，其次在网络邻居中配好地址。在Linux中手动配置地址，配好ip地址后可用windows命令行ping一下，看看是否连接成功。 远程连接成功
2015-06-01 21:45:25
1200
原创 阿里巴巴数据研发工程师面试
之前师兄内推，不想简历在评估阶段就被否定了，直接失去了面试机会。后来自己走的自主投递这条路，不想意外通过了笔试，笔试题目难度还可以，最后一道大题涉及sql语句的运用，在我的数据库Oracle里面已经补齐了答案了，其它还有两条开放大题，大体是写阿里巴巴公司车位不足问题，以及食堂如何取得最大利润的开放大题，要求最好能运用模型和算法，考试我倒也没有提供什么实质的模型与算法，大体上从多个角度思考了一下，然
2015-05-15 12:27:30
7465
2
原创 Eclipse快捷键总结
不少总结Eclipse快捷键的文章，都是按照Ctrl组合，Ctrl+Shift组合来展示，以便记忆，我这边也总结了一套Eclipse快捷键方法，是从自己编程角度出发总结的，主要是从三个维度总结： （1）查看源码时所用快捷键。 （2）编写代码时所用快捷键。 （3）在以上两点中都起到作用的快捷键。 下面就一一介绍具体常用快捷键： 1 查看
2015-04-23 09:34:44
966
空空如也
hbase查询出现CallerDisconnectedException错误
2015-11-10
reduce阶段copy map输出数据细节问题
2015-06-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人