自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Universe — Higher and farther

We begin with confusion,and finally reached a high level of confusion.

  • 博客(17)

原创 阿里巴巴vmate事业部急聘

阿里vmate团队招聘求简历(2019年8月)阿里巴巴-创新业务群-vmate事业部阿里巴巴-创新业务群-vmate事业部部分职位可能P5/P6/P7都招,如有合适的岗位请通过邮箱与我联系,我会及时回复,如果对阿里其他职位感兴趣也可帮忙内推。邮箱:jiangshi.lqf@alibaba-inc.com...

2019-08-02 20:37:20 1308

原创 腾讯阿里大数据开发面试记录

腾讯阿里面试记录1、腾讯面试2、阿里面试1、腾讯面试腾讯PCG事业部 大数据开发岗技术一共三面:spark数据分发机制Hadoop集群高可用机制阐述Spark Streaming给个具体视频应用场景阐述开发思路及任务架构(期间会涉及到数据存储,查询,字段设计、及哪部分数据适合用哪种数据库mysql、Hbase的一些知识。)树结构的遍历方式并及根据前中序遍历结果反推树结构、树结构中...

2019-07-10 12:54:07 1284 2

转载 ZooKeeper知识精华

1.ZooKeeper是什么?ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户。客户端的读请求可以被集群中的任意一台机器处理,如果读请求在节点上注册了监听器,这个监听器也是由所连接的zook...

2019-06-14 14:20:14 206

原创 Hadoop集群运维

集群故障模拟场景1:namenode节点故障,active namenode节点状态切换?如何恢复?1.1 Hadoop HA 的namenode状态切换测试测试机模拟线上环境测试,namenode进程down掉一个后,active和standby状态名称节点切换正常。测试步骤:把standby namenode进程kill掉,active节点服务正常,不影响hadoop集群服务,数据...

2019-06-06 12:15:02 5124 6

原创 Spark on Yarn任务运维

spark on yarn 实时任务场景:对于集群故障和集群配置调整可能对spark实时任务造成的影响及所需采取措施进行模拟,并制定对应解决方案。方案总结:针对下文总结的实时任务存在的隐患,可对hadoop集群配置进行以下调整优化(优化方案需先在测试集群上测试):增加yarn AM进程的容错重试次数,默认只有一次,调大后可增加长期在yarn上运行的任务的稳定性。保留RM、NM进程的运行时...

2019-06-06 12:08:37 555

原创 Kafka监控-JMX自定义监控以及常用监控工具比较

目录:一、通过JMX自定义监控1、jconsole2、Java监控代码:二、Kafka三款监控工具比较(转载)1、Kafka Web Conslole2、Kafka Manager3、KafkaOffsetMonitor一、通过JMX自定义监控通过JMX监控可以看到的数据有:broker数据指标 topic数据指标 每个partition的数据指...

2019-03-20 18:19:52 3210

原创 Kafka架构、组件及核心概念

目录:一、什么是Kafka? 1.1、为什么需要消息系统(MessageQueue) 1.2、常用Message Queue对比 1.3、Kafka优缺点:二、kafka架构 2.1 kafka组件说明: 2.2 kafka拓扑结构: 2.3 zookeeper 存储结构三、核心组件及概念 ...

2019-03-17 11:09:39 1246

原创 Flume自定义监控实现数据上报功能—Custom Reporting

1、flume监控背景 保证日志采集系统flume进程的稳定和出现问题后能及时修复,需对flume进程进行监控。flume目前提供的几种数据监控类型:JMX Reporting、Ganglia Reporting、JSON Reporting、Custom Reporting等。 本文通过Custom Reporting实现自定义数据上报,代码实现并不复...

2019-03-11 19:14:26 765

原创 Flume线上集群的吞吐量瓶颈排查及优化

记录一次flume线上环境的吞吐量瓶颈排查和解决方案。1、线上Flume集群架构简介Flume线上架构图如下:目前线上部署flume的服务器有六十台左右,主要分外网环境和内网环境,这些都是游戏的服务器集群,每个游戏的服务器集群可能单独有一套外网环境(包含flume跳板机)。外网环境A和内网环境B的flume都会往内网跳板机发送数据,分发方式是负载均衡模式,两个内网跳板机收集所有数据再发...

2019-03-11 11:49:11 1127

原创 HBase RowKey设计原则(全面)

这篇HBase的行健设计原则文章主要依据HBase官方文档和一些相关文章总结而来,可以说是比较靠谱和全面的一个rowkey设计总结。主要还是分四块来介绍:RowKey的设计原则1. rowkey长度原则 2.rowkey散列原则 3.时间戳反转 Reversiong the Key 4. rowkey唯一原则。

2017-12-04 12:43:45 3802

原创 基于Hadoop HA的Hbase集群搭建

集群搭建简介:hbase集群搭建总体较为简单,但是网上很多文章写的都挺乱的,所以自己写了这篇文章基于hadoop HA搭建hbase集群的文章,充分查阅了官方文档相当靠谱。安装主要步骤为:下载并解压安装包,修改配置文件,发送到其他节点。期间注意hbase的master节点要能ssh通其他region节点,不然启动时候需要手动输入密码。前期准备:hadoop HA环境已搭建成功,zoo...

2017-11-24 13:13:04 1850 2

原创 Hadoop序列化及IPC通信机制简析

一、Hadoop序列化1、简介:什么是序列化?将对象编码成一个字节流。 反序列化:将一个字节流编码成对象。序列化主要有三种主要用途:作为一种持久化存储。可以把对象序列化后存储到磁盘上,供以后反序列化使用。 作为一种通信数据格式。 作为一种拷贝、克隆机制。序列化在分布式数据处理的常用上面提到的前两种功能:持久化存储和进程间通信。 处理大规模数据的hadoop...

2017-11-23 11:18:16 449

原创 Hadoop HA高可用集群环境搭建(CenOS7)

Hadoop HA 集群简介:       HDFS集群中NameNode 存在单点故障(SPOF)。对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用,直到NameNode 重新启动。      影响HDFS集群不可用主要包括以下两种情况:一是NameNode机器宕机,将导致集群不可用,重启NameNode之后才可使用;二是计划内的NameNode节...

2017-11-21 18:02:33 1059

原创 Flume整体架构总结

Flume简介: Flume 是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统, Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。(Flume使用java编写,支持Java1.6及以上。)由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完...

2017-11-09 16:32:29 1403

原创 Nginx服务器及相关体系组件总结

1.Nginx基础Nginx简介:静态HTTP服务器,反向代理服务器(还是为了后面的负载均衡功能)负载均衡(多台服务器或虚拟主机)。Apache和Nginx对比:Nginx优点:轻量级、配置简洁、抗并发、高度模块化。Apache优点:rewrite强大,模块极为丰富,超稳定。Tomcat:Tomcat也可以认为是HTTP服务器,但通常它仍然会和Nginx配合在一起使用:动静

2017-11-09 08:39:38 516

原创 cookie简单实用的使用方法

cookie的由来:            在程序中,会话跟踪是很重要的事情。理论上,一个用户的所有请求操作都应该属于同一个会话,而另一个用户的所有请求操作则应该属于另一个会话,二者不能混淆。例如,用户A在超市购买的任何商品都应该放在A的购物车内,不论是用户A什么时间购买的,这都是属于同一个会话的,不能放入用户B或用户C的购物车内,这不属于同一个会话。

2017-03-09 16:07:53 8467 1

原创 Scala语言总结概括(代码实例版)

Scala是一门多范式的编程语言,一种类似java的编程语言,设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。Scala 运行在Java虚拟机上,并兼容现有的Java程序。Scala 源代码被编译成Java字节码,所以它可以运行于JVM之上,并可以调用现有的Java类库。    下面这段程序用到了scala许多基础知识,通过它可以宏观的了解整个Scal

2017-03-08 11:31:57 677

空空如也

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除