Universe — Higher and farther

We begin with confusion,and finally reached a high level of confusion.

腾讯阿里大数据开发面试记录

腾讯阿里面试记录1、腾讯面试2、阿里面试 1、腾讯面试 腾讯PCG事业部 大数据开发岗 技术一共三面: spark数据分发机制 Hadoop集群高可用机制阐述 Spark Streaming给个具体视频应用场景阐述开发思路及任务架构(期间会涉及到数据存储,查询,字段设计、及哪部分数据适合用哪种数...

2019-07-10 12:54:07

阅读数 28

评论数 0

ZooKeeper知识精华

1.ZooKeeper是什么? ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户。 客户端的...

2019-06-14 14:20:14

阅读数 142

评论数 0

Hadoop集群运维

集群故障模拟 场景1:namenode节点故障,active namenode节点状态切换?如何恢复? 1.1 Hadoop HA 的namenode状态切换测试 测试机模拟线上环境测试,namenode进程down掉一个后,active和standby状态名称节点切换正常。 测试步骤:把st...

2019-06-06 12:15:02

阅读数 4658

评论数 6

Spark on Yarn任务运维

spark on yarn 实时任务 场景:对于集群故障和集群配置调整可能对spark实时任务造成的影响及所需采取措施进行模拟,并制定对应解决方案。 方案总结:针对下文总结的实时任务存在的隐患,可对hadoop集群配置进行以下调整优化(优化方案需先在测试集群上测试): 增加yarn AM进程的容...

2019-06-06 12:08:37

阅读数 189

评论数 0

Kafka监控-JMX自定义监控以及常用监控工具比较

目录: 一、通过JMX自定义监控 1、jconsole 2、Java监控代码: 二、Kafka三款监控工具比较(转载) 1、Kafka Web Conslole 2、Kafka Manager 3、KafkaOffsetMonitor 一、通过JMX自定义监控 通过JMX监控...

2019-03-20 18:19:52

阅读数 363

评论数 0

Kafka架构、组件及核心概念

目录: 一、什么是Kafka? 1.1、为什么需要消息系统(MessageQueue) 1.2、常用Message Queue对比 1.3、Kafka优缺点: 二、kafka架构 2.1 kafka组件说明: 2.2 kafka拓扑结构: 2.3 zooke...

2019-03-17 11:09:39

阅读数 235

评论数 0

Flume自定义监控实现数据上报功能—Custom Reporting

1、flume监控背景 保证日志采集系统flume进程的稳定和出现问题后能及时修复,需对flume进程进行监控。flume目前提供的几种数据监控类型:JMX Reporting、Ganglia Reporting、JSON Reporting、Custom Reporting等。 ...

2019-03-11 19:14:26

阅读数 175

评论数 0

Flume线上集群的吞吐量瓶颈排查及优化

记录一次flume线上环境的吞吐量瓶颈排查和解决方案。 1、线上Flume集群架构简介 Flume线上架构图如下: 目前线上部署flume的服务器有六十台左右,主要分外网环境和内网环境,这些都是游戏的服务器集群,每个游戏的服务器集群可能单独有一套外网环境(包含flume跳板机)。外网环境A和...

2019-03-11 11:49:11

阅读数 285

评论数 0

HBase RowKey设计原则(全面)

这篇HBase的行健设计原则文章主要依据HBase官方文档和一些相关文章总结而来,可以说是比较靠谱和全面的一个rowkey设计总结。主要还是分四块来介绍:RowKey的设计原则1. rowkey长度原则 2.rowkey散列原则 3.时间戳反转 Reversiong the Key 4...

2017-12-04 12:43:45

阅读数 2656

评论数 0

基于Hadoop HA的Hbase集群搭建

集群搭建简介: hbase集群搭建总体较为简单,但是网上很多文章写的都挺乱的,所以自己写了这篇文章基于hadoop HA搭建hbase集群的文章,充分查阅了官方文档相当靠谱。安装主要步骤为:下载并解压安装包,修改配置文件,发送到其他节点。期间注意hbase的master节点要能ssh通其他reg...

2017-11-24 13:13:04

阅读数 1140

评论数 1

Hadoop序列化及IPC通信机制简析

一、Hadoop序列化 1、简介: 什么是序列化?将对象编码成一个字节流。 反序列化:将一个字节流编码成对象。 序列化主要有三种主要用途: 作为一种持久化存储。可以把对象序列化后存储到磁盘上,供以后反序列化使用。 作为一种通信数据格式。 作为一种拷贝、克隆机制。 序列化在分布式数据处理...

2017-11-23 11:18:16

阅读数 311

评论数 0

Hadoop HA高可用集群环境搭建(CenOS7)

Hadoop HA 集群简介:       HDFS集群中NameNode 存在单点故障(SPOF)。对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用,直到NameNode 重新启动。      影响HDFS集群不可用主要包括以下两种情况:一是Nam...

2017-11-21 18:02:33

阅读数 692

评论数 0

Flume整体架构总结

Flume简介: Flume 是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统, Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。(Flume使用java编写,支持Jav...

2017-11-09 16:32:29

阅读数 1034

评论数 0

Nginx服务器及相关体系组件总结

1.Nginx基础 Nginx简介:静态HTTP服务器,反向代理服务器(还是为了后面的负载均衡功能)负载均衡(多台服务器或虚拟主机)。 Apache和Nginx对比: Nginx优点:轻量级、配置简洁、抗并发、高度模块化。 Apache优点:rewrite强大,模块极为丰富,超稳定。 Tomcat...

2017-11-09 08:39:38

阅读数 382

评论数 0

cookie简单实用的使用方法

cookie的由来:             在程序中,会话跟踪是很重要的事情。理论上,一个用户的所有请求操作都应该属于同一个会话,而另一个用户的所有请求操作则应该属于另一个会话,二者不能混淆。例如,用户A在超市购买的任何商品都应该放在A的购物车内,不论是用户A什么时间购买的,这都是属于同一个会话...

2017-03-09 16:07:53

阅读数 7757

评论数 1

Scala语言总结概括(代码实例版)

Scala是一门多范式的编程语言,一种类似java的编程语言,设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上,并兼容现有的Java程序。 Scala 源代码被编译成Java字节码,所以它可以运行于JVM之上,并可以调用现有...

2017-03-08 11:31:57

阅读数 548

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭