程序员进阶之路

On the way

排序：
默认
按更新时间
按访问量
RSS订阅

原 SQLServer 数据异构实时同步之数据时序的问题

文章目录一、简介二、数据时序的问题三、数据以主键为单位的有序四、数据操作被重复发送五、数据操作的重复发送与影响六、结论 一、简介 数据异构实时同步是指将数据从源端数据库近实时的同步至目的端数据库的一个过程，比如将 SQLServer 中的数据同步至 HBase 或 Kafka 中。不同于离线同步，...

2019-04-09 23:48:10

阅读数 63

评论数 0

原 HBase Timestamp 与幂等性

HBase 的数据模型包括表（Table）、行（Row）、列族（Column Family）、列限定符（Column Qualifier）、单元格（Cells）、时间戳（Timestamp），其中单元格是行与列的交叉点，用来存储数据值，而 timestamp 则是每个值的版本号标识。默认情况下，t...

2019-03-29 23:09:41

阅读数 86

评论数 0

原 DataX 中流的速度限制

概述 这里的流的速度限制是指在单位时间窗口内，最多允许指定的单位数据通过。比如我们需要从源端 A 发送 1000 条数据到目的端 B，如果设置的速度限制为最多 100 条每秒，那么理论上需要 10 秒的时间才能将数据传输完成，即使当前的网络允许在极短的时间便完成这个任务。 但是我们没办法严格控制每...

2019-03-06 22:05:05

阅读数 298

评论数 0

原 一款简洁的税后工资计算器（2019）

一款简洁的税后工资计算器，地址：http://kentt.top/tools/personal-tax/，特点：1. 支持自定义社保基数/比例、公积金基数/比例、个税起征点；2. 可对比改革前后数据；3. 可查看各支出所占比例；4. 无任何广告

2018-09-16 23:33:09

阅读数 8115

评论数 0

原 CDH-Hadoop 安装

一、 摘要 二、安装 1. 基础环境配置 1) 主机介绍 2) 配置 sudo 无密 3) 配置 SSH 无密登陆以及其它基础配置 2. 检查系统环境配置 3. 安装依赖数据库 3.1 MySQL 3.1.1 安装 3.1.2 启动 3.1.3 安装 MySQ...

2018-09-16 23:06:34

阅读数 292

评论数 0

原 JHipster 中的设计（1）RESTful API Response 与异常处理的设计

一、 Response 设计 在JHipster生成的项目中，RESTful API的Response相比一些传统的方式，特别的依赖了Response.header来传输一些附加信息，比如分页请求结果中的总数、执行的方法代码等。下面以用户相关接口为例： name method ...

2018-07-18 22:31:05

阅读数 1093

评论数 0

原 Hadoop 原理学习（8）Yarn 概述及其基本原理

一、Yarn 简介 二、Yarn 组件 ResourceManager (RM) ApplicationMaster（AM） NodeManager（NM） Container（容器） 三、提交任务流程 客户端向RM提交任务流程 运行状态交互 四、总结 五、参考链接 ...

2018-07-18 22:25:45

阅读数 229

评论数 0

原 Hadoop 原理学习（7）HBase 架构与工作原理5 - Region 的部分特性

Region Region 是表格可用性和分布的基本元素，由列族（Column Family）构成的 Store 组成。对象的层次结构如下： - Table - Region - Store （由每个 Region 中的列族组成的存储块） ...

2018-06-14 22:28:39

阅读数 187

评论数 0

原 Hadoop 原理学习（6）HBase 架构与工作原理4 - 压缩、分裂与故障恢复

Compacation HBase 在读写的过程中，难免会产生无效的数据以及过小的文件，比如：MemStore 在未达到指定大小便刷新数据以写入到磁盘；或者当已经写入 HFile 的数据被删除后，原数据被标记了墓碑，却仍然存在于 HFile 之中。在这些情况之下，我们需要清除无效的数据或者合并过...

2018-05-31 19:44:07

阅读数 356

评论数 0

原 Hadoop 原理学习（5）HBase 架构与工作原理3 - HBase 读写与删除原理

一、前言 在 HBase 中，Region 是有效性和分布的基本单位，这通常也是我们在维护时能直接操作的最小单位。比如当一个集群的存储在各个节点不均衡时，HMaster 便是通过移动 Region 来达到集群的平衡。或者某一个 Region 的请求过高时，通过分裂 Region 来分散请求。或者...

2018-05-30 20:22:50

阅读数 948

评论数 0

原 Hadoop 原理学习（4）HBase 架构与工作原理2 - HBase 组件

一、HBase 组件概览 Master-Slave 模式： HBase 体系结构遵循传统的 master-slave 模式，由一位掌握决策的主设备和一个或多个真正处理任务的从设备组成。在 HBase 中，主设备称为 HMaster，从设备被称为 HRegionServers，主从设备之间则通过 ...

2018-05-27 19:36:12

阅读数 246

评论数 0

原 Hadoop 原理学习（3）HBase 架构与工作原理1 - HBase 的数据模型

一、应用场景 二、Table 组成元素 表（Table） 行（Row） 列族（Column Family） 单元格（Cells） 三、示例 逻辑视图 物理视图 参考链接 一、应用场景 HBase 与 Google 的 BigTable 极为相似，可以说 HBase...

2018-05-17 22:27:41

阅读数 240

评论数 0

原 Hadoop 原理学习（2）HDFS 架构与工作原理

一、目标 HDFS 全称 Hadoop 分布式文件系统，其最主要的作用是作为 Hadoop 生态中各系统的存储服务。 面对大规模的数据，HDFS 在设计上满足了以下目标： 高度容错性： HDFS 可能由成百上千的服务器构成，任何一个组件都可能失效，因此错误检测和快速、自动的恢复时 HD...

2018-04-05 23:15:16

阅读数 392

评论数 0

原 Google GFS, BigTable, MapReduce 论文中文版地址

GFS 论文： http://blog.bizcloudsoft.com/wp-content/uploads/Google-Bigtable中文版_1.0.pdf BigTable 论文：http://blog.bizcloudsoft.com/wp-content/uploads/G...

2018-04-05 00:58:41

阅读数 193

评论数 1

原 Hadoop 原理学习（1）Hadoop 各服务的作用简述

注：以下服务为基于安装Hadoop 2.6.0-cdh5.8.3后的所得服务，但并不是全部。 1. HDFS NameNode NameNode是一个中心服务器，负责管理文件系统的namespace以及客户端对文件的访问。 NameNode执行文件系统的namespace操作，比如...

2018-03-20 23:02:25

阅读数 1580

评论数 0

原 [Angular Directive] 输入框禁止为空字符串与自动去除空格指令

一、前言 input 输入框自带了required属性，用以表单验证，但是只要有字符，即使全为空格也能通过required验证，这无法满足一些应用场景，所以需要自定义一些指令，用来满足验证全为空格的输入。 在使用自定义的 Directive 修改 input 输入框值或属性时，需要注意： ...

2018-01-30 19:43:33

阅读数 950

评论数 1

原 Spark _on_Yarn 资源池内存限制测试报告 - 防止"非法"任务的提交

需求背景 讲道理，用户在提交 Spark_on_yarn 任务 时，应该指定--executor-memory属性（公司自己的规定），并且使用特定的用户提交，以便于 DBA 的管理。但是仍然存在一些用户直接使用 root 账户提交任务，这样在 yarn 的资源池中就会被分配到 root.user...

2018-01-19 19:22:41

阅读数 756

评论数 0

原 HBase 部分表无法写入数据的异常处理

HBase 无法写入数据到某张表，服务状态均正常，并且可能只是某一张表或者部分表发生无法写入问题，那么此时可能是某一个或几个 RegionServer 出了问题，使其状态变更为 PENDING_CLOSE，从而无法写入数据，但是它们的服务状态可能仍然显示为正常。 注：这其中的一种可能的情况，不...

2017-11-11 21:35:32

阅读数 2244

评论数 0

原 在 nginx 中部署 angular 应用

最近使用Angular做了第一个应用，但是网上的教程大多是教如何开发，部署相对较少，所以这里就简单记录一下如何在nginx中部署Angular应用。 注：Angular应用可以编译成静态页面，然后部署在任何 web 服务器上，这里仅仅是选择nginx而已，同时编译后的文件其实就仅仅是静态文件而...

2017-10-15 22:19:18

阅读数 8296

评论数 2

原 在需要实时更新数据的接口中使用 304 状态码

一、前言Http 状态码是接口设计中不可或缺的一部分，它简洁却蕴含着丰富的含义，这里就简单介绍一下 304 状态码的使用示例吧。二、场景比如最近的一个需求是：在 Web 页面中查看任务详情时，要求能够不刷新页面便自动的更新它的状态与日志等信息（任务的执行会花费一定的时间，同时后台在处理任务的过程中...

2017-10-11 19:49:26

阅读数 1830

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭