皓阳当空-博客

原创 Hadoop的HA机制

前言：正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制 一：HA的运作机制 1.1 hadoop-HA集群运作机制介绍 所谓HA，即高可用（7*24小时不中断服务） 实现高可用最关键的是消除单点故障 hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA 1.2 HDFS的HA机制详解 通过双namenode消除单点故障...

原创 mapreduce原理

一： MAPREDUCE原理 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 1.1 为什么要MAPREDUCE （1）海量数据在单机上处理因为硬件资源限制，无法胜任 （2）而一旦将单机版程序扩展...

原创 Nginx+Uwsgi+Vue+Django服务器配置

Nginx+Uwsgi+Vue+Django服务器配置 一：背景 项目是前后端分离开发，开发环境是前端起一个服务，后端起一个服务；在部署到服务器时，后端服务使用uwsgi，具体是该请求后端接口还是该访问前端自定义路由，在nginx中做配置 二：Nginx配置 upstream myproject_pool{ server unix:/tmp/myproject.sock; } se...

原创 mysql索引知识点