- 博客(113)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Kappa 与 Lambda 架构介绍与对比
Lambda 架构Lambda 架构由Storm的作者Nathan Marz提出，其设计目的在于提供一个能满足大数据系统关键特性的架构，包括高容错、低延迟、可扩展等。其整合离线计算与实时计算，融合不可变性、读写分离和复杂性隔离等原则，可集成Hadoop, Kafka, Spark，Storm等各类大数据组件。Lambda 架构可分解为三层：BACTH LAYER : 利用批处理引擎处理离...
2019-03-12 14:43:15
2075
原创 物联网上行数据实现tcp 负载均衡和高可用架构 nginx + keepalived方案
文章目录需求介绍架构设计具体配置nginx 配置keepalived 配置需求介绍之前有做过一个物联网设备接入的项目，项目中会启动一个数据接入服务（TCP server）用来接收传感器设备上传的数据。数据接入服务需要分布式部署，且要实现设备上行连接能够负载均衡到各台服务节点，且需要保证数据接入服务的高可用性。架构设计keepalived 的功能：暴露一个虚拟IP 即VIP, 检测ngi...
2019-03-11 23:14:50
1445
2
原创 谈一谈你对zookeeper 的理解（大数据面试题系列~~）
文章目录Zookeeper 几个基本概念集群角色会话数据节点ZnodeWatcher 事件监听器几个典型应用场景Master 选举实现分布式锁用作微服务的注册中心Apache Zookeeper 是由Apache Hadoop 的子项目发展而来，之后正式成为了Apache 的顶级项目。Zookeeper 是一个典型的分布式数据一致性的解决方案，它 为分布式应用提供了高效可靠的分布式协调服务，分...
2019-03-06 22:34:49
1806
原创 谈一谈你对mapreduce 的理解?(大数据面试题系列~)
MapReduce 是一种用于数据处理的编程模型。我们可以这样理解MapReduce, 把一堆杂乱无章的数据按照某种特征归纳起来，然后处理并得到最后的结果。Map 面对的是杂乱无章的互不相关的数据，它解析每个数据，从中提取key 和value, 也就是提取了数据的特征。经过MapReduce 的shuffle 阶段之后，在Reduce 阶段看到的都是归纳好的数据，然后再进行进一步的处理以得到结果。...
2019-03-05 21:46:39
1910
原创 谈一谈你对yarn 的理解？（大数据面试题系列！！！）
YARN 是hadoop 的集群资源管理器。Yarn 在Hadoop2 中被引入，是为了要改善MapReduce1 的实现，但它具有足够的通用性，同样也支持其他的分布式计算模式。MapReduce1 的实现机制MapReduce 包括几个高级组件。主进程JobTracker是所有MapReduce 作业的信息交流中心。每个节点都有一个TaskTracker进程，管理相应节点的任务。TaskTr...
2019-03-04 22:51:48
2309
原创 深入剖析 kafka 可靠性是如果保证的？
文章目录kafka 可靠性提供的保证kafka 的复制机制相关配置项复制系数不完全的首领选举最少同步副本kafka 的复制机制和分区的多分布架构是kafka 可靠性保证的核心。把消息写入多个副本可以使kafka 在发生崩溃时仍能保证消息的持久性。kafka 可靠性提供的保证kafka 可以保证分区消息的顺序。如果使用同一个生产者往同一个分区写入消息，消息B 在消息A之后写入，那么kafka...
2019-03-01 00:12:25
389
原创 hdfs 文件读写的过程详解（大数据面试题系列~~~）
HDFS 集群以管理节点-工作节点的模式在运行，即一个namenode(管理节点)和多个datanode(工作节点)。namenode 管理文件系统的命名空间，它维护着文件系统树及整棵树内所有文件和目录。namenode 也记录着每个文件中各个块所在的数据节点信息。datanode 是文件系统的工作节点，它们根据需要存储并检索数据块。文件读取过程剖析首先HDFS 客户端向namenode 节...
2019-02-27 23:10:11
1066
原创 关于hadoop 的shuffle 过程理解（面试题系列~~~）
文章目录map 端的shuffle 过程reduce 端的shuffle 过程复制阶段合并阶段MapReduce 确保每个reducer 的输入都是按键进行排序的。系统执行排序，将map 输出作为输入传给reducer 的过程称为shuffle。map 端的shuffle 过程map 端会先将输出写入到内存缓冲区，当内存缓冲区到达指定的阈值时，一个后台线程就开始将缓冲区的内容spill 到...
2019-02-27 00:58:15
1025
原创 centos7 下mysql 忘记root密码后怎么办？？？详细解决方案如下~~~
今天想要连接一台许久未用的服务器上的mysql, 但是忘记了密码，经过查找解决方案如下：编辑mysql 配置文件my.cnf,在[mysqld]的段中加上一句：skip-grant-tables[root@dbus-n1 app]# vi /etc/my.cnf[mysqld]skip-grant-tables.....重启mysqld, root 无密码登录[root@...
2019-02-26 14:17:48
227
原创 kafka 的message 格式解读
CRC32：4个字节。消息的CRC校验码。magic：1个字节。魔数标识，与消息格式有关，取值为0或1。当magic为0时，消息的offset使用绝对offset且消息格式中没有timestamp部分；当magic为1时，消息的offset使用相对offset且消息格式中存在timestamp部分。attributes：1个字节。0~2位表示消息使用的压缩类型，0->无压缩 1-&gt...
2019-02-25 21:01:29
4773
原创 ElasticSeach 安装启动时遇到的两个问题记录
错误日志：java.lang.RuntimeException: can not run elasticsearch as root at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:103) ~[elasticsearch-6.5.4.jar:6.5.4] at org.elasticsear...
2019-01-30 16:33:13
513
原创 记一次 sqoop2 shell 转移mysql 数据到hdfs 爬坑之路（步骤详细！！！）
文章目录出现问题汇总具体过程流水账进入sqoop2 shell环境：开始创建mysql 导入的link:创建导出到hdfs 的link:创建数据从mysql 转移到hdfs 的job :运行job & 排错过程开始运行job :第一个错误：[0003]第二个错误：[0016]第三个错误：[0001]第四个错误：[0007]出现问题汇总GENERIC_JDBC_CONNECTOR_00...
2019-01-17 14:49:08
3118
4
原创 记一次centos7 下安装sqoop2 server全过程（步骤详细！！！）
文章目录下载解压缩配置环境变量修改sqoop 配置启动sqoopSqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。对于某些NoSQL数据库它也提供了连接器。Sqoop，类似于其他ETL工具，使用元数据模型来判断...
2019-01-16 13:09:55
693
原创 记一次centos7 下telnet-server 的安装过程（步骤详细！！！）
文章目录安装telnet-server 和xinetd设置开机自启启动服务查看启动状态安装telnet-server 和xinetd查找与telnet 有关的程序包[root@slave2 ~]# yum list |grep telnettelnet.x86_64 1:0.17-64.el7 base...
2019-01-11 10:30:57
2361
原创 记一次centos7 下根目录扩容操作（步骤详细！！！）
文章目录需求描述具体步骤查看本机磁盘环境添加磁盘分区开始扩容同步到文件系统参考内容需求描述由于测试环境需要，虚拟机根目录需要扩容至120G。具体步骤查看本机磁盘环境[root@localhost ~]# df -h文件系统 容量 已用 可用 已用% 挂载点/dev/mapper/centos-root 35G 5.5G 30G 16%...
2019-01-10 17:32:47
41212
27
原创 记一次 centos7 下磁盘分区、格式化、挂载全过程（步骤详细！！！）
文章目录前情提要具体步骤查看磁盘使用情况查看硬盘挂载情况磁盘分区磁盘格式化进行挂载检查是否正常设置开机挂载参考内容前情提要由于测试环境需要，需准备一个大于400G的磁盘空间具体步骤查看磁盘使用情况没有看到大点的磁盘空间，相信还有很多的未挂载磁盘空间。[root@localhost ~]# df -hFilesystem Size Used Avail U...
2019-01-05 17:39:39
19130
4
原创 记一次HBase 使用故障分析与改错（hbase shell client 故障汇总！！！）
文章目录hbase shell 写入操作卡住故障介绍解决方案Java 使用hbase-client 操作卡住故障介绍故障分析与解决hbase 操作权限不足故障介绍解决方案使用ranger 进行权限配置使用ambari 安装了HBase 的环境，然后进入到安装的机器，使用hbase shell 打算验证下HBase 是否可用？hbase shell 写入操作卡住故障介绍进入到hbase sh...
2019-01-05 09:56:25
1696
原创 pycharm 第三方库函数无代码提示解决方案
文章目录问题描述解决方案问题描述呃呃呃，想使用urllib库进行HTTP 调用，然后发现有些地方没有代码提示。。。这就很难受了，我根本不清楚API的，你不给我一点提示就过分了呀！！！from urllib import requestdef demo(): s = request.urlopen('http://www.baidu.com') // 没有提示。。。 ...
2018-12-20 22:53:55
11053
2
原创 自定义注解@MRpcInjection，实现服务的自动注入
文章目录实现服务的自动注入前言如何实现？找到被注解标注的field向field 中注入代理类测试一下后记实现服务的自动注入前言最近在自己写rpc 框架，目前已完成服务注册发布、注册中心、服务发现功能，Github 地址为：https://github.com/caigoumiao/mrpc在做服务的消费端时，想要实现服务代理的自动注入，不用每次调用服务都暴露代理的生成细节，就像这样：（一个...
2018-12-18 15:36:43
1137
原创 centos7 安装redis 服务超详细步骤（附带每一步命令行截图~~~）
文章目录centos7 安装redis 服务详解编译安装配置redis启动redis验证正确性提供一个免费的redis windows 管理工具centos7 安装redis 服务详解###下载redis下载redis 安装包wget http://download.redis.io/releases/redis-4.0.10.tar.gz[root@miao soft]# wget...
2018-12-14 16:33:28
1214
原创 mysql 主从模式配置原理及步骤详解
文章目录mysql 主从模式配置场景描述实现原理开始配置前提主机配置从机配置额外配置选项验证主从模式mysql 主从模式配置MySQL数据库自身提供的主从复制功能可以方便的实现数据的多处自动备份，实现数据库的拓展。多个数据备份不仅可以加强数据的安全性，通过实现读写分离还能进一步提升数据库的负载性能。如下图可看到读写分离的实现：主机负责写入数据，从机负责读取场景描述当前有两台centos...
2018-12-11 21:57:14
2612
原创 centos7 下安装mysql 服务详解（附带每一步命令行截图，超详细~~~）
文章目录centos7 下安装mysql 服务详解安装mysql启动，停止or 重启mysql修改初始化密码添加远程连接用户centos7 下安装mysql 服务详解安装mysql下载安装mysql 源[root@miao ~]# wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm--2018-12-...
2018-12-11 21:51:35
2045
原创 基于zookeeper 实现分布式读写锁( 思路 + 代码 )
文章目录基于zookeeper 实现分布式读写锁分布式锁读写锁分布式读写锁思路分布式读写锁代码实现测试基于zookeeper 实现分布式读写锁分布式锁如果不同的系统或一个系统的不同主机共享了一组资源，那么访问这些资源的时候，就需要通过一些互斥的手段来防止彼此之间的干扰，以保证一致性，在这种情况下，就需要使用分布式锁了。读写锁读写锁是同一时刻可以允许多个读操作访问，但是在写操作访问时，所有...
2018-11-30 10:04:23
3687
1
原创 Java 回调机制实例（同步&异步式）
文章目录Java 回调机制同步式异步式参考内容Java 回调机制接口回调是一种常见的设计模型，通常模块之间都有一定的调用关系，例如模块A 需要模块B 提供的某个服务，服务完成后将结果告诉模块A, 这时候模块 A 就需要告诉模块 B 一个联系方式，使 B 完成时来通知自己，这个场景就可以使用回调, 而这个联系方式就是回调接口Callback 。同步式假定有这样一个场景：有两个模块分别为主模块...
2018-11-25 14:34:19
584
原创 CAS 无锁算法及原子操作类实践
文章目录CAS 无锁算法及原子操作类实践非原子性示例CAS 无锁算法模仿AtomicInteger 类完成原子自增操作参考内容CAS 无锁算法及原子操作类实践非原子性示例先来看一段未实现原子性的自增统计代码： private static volatile int x=0; // 线程同时开始 private static CountDownLatch start...
2018-11-24 14:01:35
467
原创 介绍两款好用的接口文档生成工具 apidoc & swagger
曾经看过这样一个笑话：程序员最讨厌写文档，比这个还讨厌的事情就是，别人居然不写文档。哈哈哈哈哈哈嗝！看来文档的确是个令猿头疼的东西哇，但是文档的重要性也是不言而喻。这里就给大家安利两款比较好用的接口文档生成工具：1. apidoc简介apidoc是一款可以由源代码中的注释直接自动生成api接口文档的工具，它几乎支持目前主流的所有风格的注释。使用首先你的环境必须要安装了node.js.然...
2018-10-16 22:16:40
40352
11
原创 JBoss Marshalling 序列化技术 编解码器使用 netty 实例
环境准备maven 依赖项目结构编码与介绍功能介绍 & 实现效果服务端开发客户端开发Marshalling 编解码器工厂类 & pojo粘包拆包思考遇到的坑Marshalling 的jar 版本小于2pojo类要实现Serializable接口JBoss Marshalling 是一个 Java 对象序列...
2018-09-12 21:31:04
1515
翻译 Google Protobuf 编解码入门小例子以及netty 实例
Protobuf 入门环境准备入门小例子netty 实例服务端开发客户端开发结果测试Google 的 Protobuf 在业界非常流行，是很多商业项目的首选，下面是它的主要优点：在谷歌内部长期使用，产品成熟度高支持多种语言编码后的消息更小，更加有利于存储和传输编解码的性能非常高支持不同协议版本的向前兼容支持定义可选和必选字段...
2018-09-11 20:19:18
391
原创 MessagePack 对象序列化、编解码及netty实例开发
介绍多语言支持netty 对象编解码实例MessagePack 解码器MessagePack 译码器客户端添加编码器服务端添加解码器客户端Handler服务端Handler结果展示粘包拆包问题解决MessagePack 是一个高效的二进制序列化框架，它像json一样支持不同语言间的数据交换，但是它的性能更快，序列化之后的码流也更小...
2018-09-06 20:38:20
1354
翻译 tcp 粘包/拆包问题分析 netty 解决方案
TCP 粘包拆包说明示例分析发生原因解决策略LineBasedFrameDecoder 解决 TCP 粘包原理分析DelimiterBasedFrameDecoder 分隔符解码器原理分析FixedLengthFrameDecoder 定长解码器原理说明TCP 粘包拆包说明TCP 是个“流”协议（流 -&g...
2018-09-05 19:18:15
335
翻译 BIO、伪异步IO、NIO、AIO 四种java IO的介绍与对比
BIO通信模型缺点伪异步I/O通信模型弊端分析NIO 编程缓冲区 Buffer通道 Channel多路复用器 SelectorNIO 服务端说明NIO 客户端说明NIO 优点总结AIO 编程四种I/O的对比BIO通信模型一请求一应答一客户端一线程通常有一个Acceptor 线程负责监听客户端...
2018-09-04 21:24:12
1690
原创 四、springBoot Logging 日志详解
目录日志格式控制台输出彩色编码输出文件输出文件级别自定义日志配置Logback 扩展profile 指定 配置文件Environment 属性springBoot 日志使用Commons Logging作为抽象层，并将具体实现开放，支持Java Util Logging、Log4j2和Logback。loggers 默认配置为使用co...
2018-08-29 23:17:09
34894
原创 三、Spring Boot 配置详解
配置随机值访问命令行属性应用属性文件指定配置文件路径application-{profile}.properties.使用yaml加载yaml单个yaml文件配置多环境yaml 缺陷@PropertySource 引入配置文件@ConfigurationProperties 和 @EnableConfigurationProerties配...
2018-08-23 21:23:40
319
原创 二、Spring Boot 自定义Banner 横幅
Banner 介绍实现方式推荐一个生成ascii艺术字的网站Banner 介绍首先Banner是什么？呃呃呃就是下面这玩意。。。从文档中看到这东西是可以自定义的，然后试了下，变成下面这个样子：实现方式向classpath下加个banner.txt(如果文件放在其他地方，需通过配置spring.banner.location 指定文件路径)...
2018-08-23 21:21:00
2239
原创 一、SpringBoot 发车 Hello Spring Boot!
新建 IDEA project开始写代码了运行看结果吧！结语滴滴滴~~~~Spring Boot要发车啦！本节俺们一起基于IDEA开发一个简单的 Hello SpringBoot web应用程序，这个小小的程序也包含了许多SpringBoot的关键特性。新建 IDEA project选择Spring InitializrChoose Initial...
2018-08-23 21:17:50
289
原创 关于单例模式更多的写法！真的是脑洞大开
单例模式保证应用中有且只有一个实例。具体写法如下：1. 饿汉式//单例调用方式：Singleton.getInstance()public class Singleton{ private static Singleton instance=new Singleton(); private Singleton(){} public stati...
2018-08-19 11:27:30
178
原创 SpringMvc 常见面试题整理（一）
你对springmvc的介绍？1. Spring 框架提供的构建web应用的模块2. 它是基于servlet功能实现的，通过实现Servlet接口的DispatcherServlet来封装其核心功能实现，同时带有配置的处理程序映射、视图解析、主题解析以及上载文件支持。3. 默认的处理程序是非常简单的controller接口，只有一个方法handleRequest()。简单的谈一下sp...
2018-08-14 20:08:45
6081
2
原创 Java 8 Stream API 学习总结
本人参考这篇文章(传送门》》》)学习了java 8 Stream API的使用，以下内容为一些笔记整理。java8 中的 Stream API 使用详解简介Stream 概览对Stream的认识流的操作类型流的使用详解流的构造与转换构造流的常用方法流转换为其它数据结构流的操作map 与 flatMap 的使用filterforEachfindFirst...
2018-08-11 13:45:48
827
原创 好未来2017校招笔试
一. 描述下进程和线程的区别1.当进程发生调度时，它拥有一个完整地虚拟地址空间，但不同的进程拥有不同的虚拟地址空间；而同一进程内的不同线程共享其所属进程的同一地址空间2.进程切换时涉及相关资源指针的保存以及地址空间的变化；而同一进程内的各线程共享其所属进程的资源和地址空间，切换时无须保存资源，无地址空间变化，从而减少了操作系统的开销3.进程的调度与切换由操作系统内核完成，而线程的调度可由操作系
2017-09-16 22:52:03
586
转载 存储过程详解
转载自》》》》王者佳暮的博客 mysql存储过程详解 1. 存储过程简介我们常用的操作数据库语言SQL语句在执行的时候需要要先编译，然后执行，而存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。 一个存储过程是一个可编程的函数，它在数据库中创建并保存。它
2017-06-06 13:03:02
419
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人