打灰机也有春天

人生而自由 但无往不在枷锁之中

Kappa 与 Lambda 架构介绍与对比

Lambda 架构 Lambda 架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线计算与实时计算,融合不可变性、读写分离和复杂性隔离等原则,可集成Hadoop, Kafka, Spark,Storm等各...

2019-03-12 14:43:15

阅读数 25

评论数 0

物联网上行数据实现tcp 负载均衡和高可用架构 nginx + keepalived方案

文章目录需求介绍架构设计具体配置nginx 配置keepalived 配置 需求介绍 之前有做过一个物联网设备接入的项目,项目中会启动一个数据接入服务(TCP server)用来接收传感器设备上传的数据。 数据接入服务需要分布式部署,且要实现设备上行连接能够负载均衡到各台服务节点,且需要保证数据接...

2019-03-11 23:14:50

阅读数 47

评论数 0

谈一谈你对zookeeper 的理解(大数据面试题系列~~)

文章目录Zookeeper 几个基本概念集群角色会话数据节点ZnodeWatcher 事件监听器几个典型应用场景Master 选举实现分布式锁用作微服务的注册中心 Apache Zookeeper 是由Apache Hadoop 的子项目发展而来,之后正式成为了Apache 的顶级项目。 Zook...

2019-03-06 22:34:49

阅读数 125

评论数 0

谈一谈你对mapreduce 的理解?(大数据面试题系列~)

MapReduce 是一种用于数据处理的编程模型。我们可以这样理解MapReduce, 把一堆杂乱无章的数据按照某种特征归纳起来,然后处理并得到最后的结果。Map 面对的是杂乱无章的互不相关的数据,它解析每个数据,从中提取key 和value, 也就是提取了数据的特征。经过MapReduce 的s...

2019-03-05 21:46:39

阅读数 26

评论数 0

谈一谈你对yarn 的理解?(大数据面试题系列!!!)

YARN 是hadoop 的集群资源管理器。Yarn 在Hadoop2 中被引入,是为了要改善MapReduce1 的实现,但它具有足够的通用性,同样也支持其他的分布式计算模式。 MapReduce1 的实现机制 MapReduce 包括几个高级组件。主进程JobTracker是所有MapRedu...

2019-03-04 22:51:48

阅读数 84

评论数 0

深入剖析 kafka 可靠性是如果保证的?

文章目录kafka 可靠性提供的保证kafka 的复制机制相关配置项复制系数不完全的首领选举最少同步副本 kafka 的复制机制和分区的多分布架构是kafka 可靠性保证的核心。把消息写入多个副本可以使kafka 在发生崩溃时仍能保证消息的持久性。 kafka 可靠性提供的保证 kafka 可以...

2019-03-01 00:12:25

阅读数 17

评论数 0

hdfs 文件读写的过程详解(大数据面试题系列~~~)

HDFS 集群以管理节点-工作节点的模式在运行,即一个namenode(管理节点)和多个datanode(工作节点)。namenode 管理文件系统的命名空间,它维护着文件系统树及整棵树内所有文件和目录。namenode 也记录着每个文件中各个块所在的数据节点信息。datanode 是文件系统的工...

2019-02-27 23:10:11

阅读数 33

评论数 0

关于hadoop 的shuffle 过程理解(面试题系列~~~)

文章目录map 端的shuffle 过程reduce 端的shuffle 过程复制阶段合并阶段 MapReduce 确保每个reducer 的输入都是按键进行排序的。系统执行排序,将map 输出作为输入传给reducer 的过程称为shuffle。 map 端的shuffle 过程 map 端会...

2019-02-27 00:58:15

阅读数 22

评论数 0

centos7 下mysql 忘记root密码后怎么办???详细解决方案如下~~~

今天想要连接一台许久未用的服务器上的mysql, 但是忘记了密码,经过查找解决方案如下: 编辑mysql 配置文件my.cnf,在[mysqld]的段中加上一句:skip-grant-tables [root@dbus-n1 app]# vi /etc/my.cnf [mysqld] ski...

2019-02-26 14:17:48

阅读数 11

评论数 0

kafka 的message 格式解读

CRC32:4个字节。消息的CRC校验码。 magic:1个字节。魔数标识,与消息格式有关,取值为0或1。当magic为0时,消息的offset使用绝对offset且消息格式中没有timestamp部分;当magic为1时,消息的offset使用相对offset且消息格式中存在timestamp...

2019-02-25 21:01:29

阅读数 62

评论数 0

ElasticSeach 安装启动时遇到的两个问题记录

错误日志: java.lang.RuntimeException: can not run elasticsearch as root at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:103) ~...

2019-01-30 16:33:13

阅读数 32

评论数 0

记一次 sqoop2 shell 转移mysql 数据到hdfs 爬坑之路(步骤详细!!!)

文章目录出现问题汇总具体过程流水账进入sqoop2 shell环境:开始创建mysql 导入的link:创建导出到hdfs 的link:创建数据从mysql 转移到hdfs 的job :运行job & 排错过程开始运行job :第一个错误:[0003]第二个错误:[0016...

2019-01-17 14:49:08

阅读数 127

评论数 0

记一次centos7 下安装sqoop2 server全过程(步骤详细!!!)

文章目录下载解压缩配置环境变量修改sqoop 配置启动sqoop Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL,Oracle,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库...

2019-01-16 13:09:55

阅读数 23

评论数 0

记一次centos7 下telnet-server 的安装过程(步骤详细!!!)

文章目录安装telnet-server 和xinetd设置开机自启启动服务查看启动状态 安装telnet-server 和xinetd 查找与telnet 有关的程序包 [root@slave2 ~]# yum list |grep telnet telnet.x86_64 ...

2019-01-11 10:30:57

阅读数 113

评论数 0

记一次centos7 下根目录扩容操作(步骤详细!!!)

文章目录需求描述具体步骤查看本机磁盘环境添加磁盘分区开始扩容同步到文件系统参考内容 需求描述 由于测试环境需要,虚拟机根目录需要扩容至120G。 具体步骤 查看本机磁盘环境 [root@localhost ~]# df -h 文件系统 容量 已用 可用 已用% ...

2019-01-10 17:32:47

阅读数 363

评论数 0

记一次 centos7 下磁盘分区、格式化、挂载全过程(步骤详细!!!)

文章目录前情提要具体步骤查看磁盘使用情况查看硬盘挂载情况磁盘分区磁盘格式化进行挂载检查是否正常设置开机挂载参考内容 前情提要 由于测试环境需要,需准备一个大于400G的磁盘空间 具体步骤 查看磁盘使用情况 没有看到大点的磁盘空间,相信还有很多的未挂载磁盘空间。 [root@localhost ~]...

2019-01-05 17:39:39

阅读数 677

评论数 2

记一次HBase 使用故障分析与改错(hbase shell client 故障汇总!!!)

文章目录hbase shell 写入操作卡住故障介绍解决方案Java 使用hbase-client 操作卡住故障介绍故障分析与解决hbase 操作权限不足故障介绍解决方案使用ranger 进行权限配置 使用ambari 安装了HBase 的环境,然后进入到安装的机器,使用hbase shell 打...

2019-01-05 09:56:25

阅读数 133

评论数 0

pycharm 第三方库函数无代码提示解决方案

文章目录问题描述解决方案 问题描述 呃呃呃,想使用urllib库进行HTTP 调用,然后发现有些地方没有代码提示。。。这就很难受了,我根本不清楚API的,你不给我一点提示就过分了呀!!! from urllib import request def demo(): s = reques...

2018-12-20 22:53:55

阅读数 636

评论数 0

自定义注解@MRpcInjection,实现服务的自动注入

文章目录实现服务的自动注入前言如何实现?找到被注解标注的field向field 中注入代理类测试一下后记 实现服务的自动注入 前言 最近在自己写rpc 框架,目前已完成服务注册发布、注册中心、服务发现功能,Github 地址为:https://github.com/caigoumiao/mrpc ...

2018-12-18 15:36:43

阅读数 72

评论数 0

centos7 安装redis 服务超详细步骤(附带每一步命令行截图~~~)

文章目录centos7 安装redis 服务详解编译安装配置redis启动redis验证正确性提供一个免费的redis windows 管理工具 centos7 安装redis 服务详解 ###下载redis 下载redis 安装包 wget http://download.redis.io/...

2018-12-14 16:33:28

阅读数 122

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭