![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 85
ACanswer
这个作者很懒,什么都没留下…
展开
-
数据仓库之拉链表(二)使用拉链表更新数据
前提假设: 数据仓库中订单历史表的刷新频率为一天,当天更新前一天的增量数据; 如果一个订单在一天内有多次状态变化,则只会记录最后一个状态的历史; 订单状态包括三个:创建、支付、完成 创建时间和修改时间只取到天,如果原订单表中没有状态修改时间,那么抽取增量就比较麻烦,需要有个机制来确保能抽取到每天的增量数据; 原系统中订单表结构为: CREATE TABLE orders ( orderid INT, createtime STRING, modified转载 2021-02-10 11:43:58 · 1450 阅读 · 0 评论 -
LVS高并发与负载均衡
本篇介绍lvs负载均衡器,并使用keepalived增强lvs的稳定性。 目录 一、负载均衡模型简介 1.1 逻辑模型简介 1.2 动态NAT模式实现 1.3四层DR(直接路由)模式实现 1.4 隧道(ip嵌套ip)模式实现 1.5 隐藏VIP(对于后端服务器)的方法 二、lvs原理 三、lvs-DR模型实验 3.1 实验环境介绍 3.2实验步骤 四、keepalive...原创 2019-06-16 14:35:00 · 630 阅读 · 0 评论 -
nginx集群与高并发
本篇介绍nginx,nginx的作用是反向代理和负载均衡。 目录 一、nginx简介 二、nginx安装 三、nginx配置 3.1 在nginx上部署两个项目 3.2 nginx负载均衡 四、nginx负载均衡时session问题 4.1 安装memcached 4.2 配置监听地址 4.3 tomcat服务器中添加jar包 4.4 tomcat配置 4.5 nginx...原创 2019-06-17 18:36:49 · 9779 阅读 · 0 评论 -
hadoop ha 高可用搭建
该ha搭建是在hadoop全分布式基础上搭建,关于hadoop全分布式搭建可以参考另一篇hadoop3分布式环境基础搭建。 目录 一、高可用简介 二、配置hadoop 三、zookeeper安装及配置 四、namenode节点信息同步 五、zookeeper格式化、ha启动及测试 一、高可用简介 多个namenode,增加namenode增加可用性。 ha角色分配如下 NN...原创 2019-06-25 16:32:55 · 324 阅读 · 0 评论 -
hadoop3分布式环境基础搭建
本篇问hadoop3最基础搭建。 目录 一、hadoop简介 二、hadoop3伪分布式搭建 2.1 安装及配置 2.2 启动 2.3测试 三、全分布式搭建 3.1 node01安装及配置 3.2 node02~node04配置 3.3 启动 3.3测试 一、hadoop简介 二、hadoop3伪分布式搭建 在虚拟机上配置一台hadoop伪分布式环境(一台机器上...原创 2019-06-23 16:36:19 · 1824 阅读 · 0 评论 -
hadoop hdfs的api简单使用
本篇介绍myeclipse下测试hdfs的操作,本篇是在另一篇博文hadoop ha 高可用搭建的基础上搭建的。 目录 一、windows下环境配置 二、location 连接测试 三、hadoop hdfs api 测试 一、windows下环境配置 1)创建hadoop_home文件夹,在此为D:\Program Files\Hadoop; 2)将hadoop-2.6.5.tar...原创 2019-06-26 18:36:36 · 1176 阅读 · 0 评论 -
hadoop学习总目录
更新中... 一、linux和高并发 1.1 linux下软件简单安装点此链接 1.2 linux下设置帮助文件为中文点此链接 1.3 linux脚本编程基础点此链接 1.4 网络编程——1、协议基础点此链接 1.5 网络编程——2、通信基础点此链接 1.6 网络编程——3、服务器基础点此链接 1.7 LVS高并发与负载均衡点此链接 1.8 nginx...原创 2019-06-26 18:40:59 · 281 阅读 · 0 评论 -
Hadoop MapReduce wordcount 实例简单介绍
本篇介绍MapReduce wordcount简单实例,在此之前请搭建好hadoop ha高可用环境和myeclipse上hadoop api环境配置,如果没有请参考hadoop ha 高可用搭建和hadoop hdfs的api简单使用。 目录 一、总体架构 二、配置hadoop环境 三、wordcount实例编写 一、总体架构 总体结构如下表所示,即hadoop ha 之上添加了RS...原创 2019-06-27 12:31:20 · 382 阅读 · 0 评论