美美的大猪蹄子的博客

原创 Hadoop的架构模型

Hadoop1.Hadoop的介绍Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。——分布式文件系统（GFS），可用于处理海量网页的存储——分布式计算框架...

原创 Hadoop-Mapreduce

Hadoop-Mapreduce1. MapReduce 介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即...

原创 Hadoop核心(一) 入门

Hadoop 核心-HDFS1. HDFS概述1.1 介绍在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS ...

原创 Hadoop核心(二)-HDFS-API操作

1.HDFS 的 API 操作1.1 配置Windows下Hadoop环境在windows系统需要配置hadoop运行环境，否则直接运行代码会出现以下问题:缺少winutils.exeCould not locate executable null \bin\winutils.exe in the hadoop binaries 缺少hadoop.dlUnable to load n...

原创 深入浅出Zookeeper

文章目录Zookeeper1.Zookeeper 的概述2.Zookeeper的特点3.Zookeeper的应用场景3.1 数据发布/订阅3.2 命名服务3.3 分布式协调/通知3.4分布式锁3.5 分布式队列4.Zookeeper的架构4.1 写请求流程5.Zookeeper的选举机制5.1. 服务器启动时期的Leader选举5.2.服务器运行时期的Leader选举Zookeeper1.Zo...

原创 mybatis(一)单表思维导图

原创 SSM-Mybatis(一)单表CURD

第1章 SSM的学习路线第一部分：mybatis（3阶段）第二部分：spring（4阶段）第三部分：springmvc（3阶段）第2章 Mabatis阶段介绍第一阶段：mybatis的入门+mybatis的基本操作​ mybatis环境搭建（xml）​ * 操作数据库CRUD的实现​ * mybaits中的参数和结果集封装​ * 分析mybatis中两种dao的编写方式​...

原创 SSM-Mybatis(二)多表CURD

未完待续..

原创 JDBC原始方法(未封装)

public class JDBCDemo { public static void main(String[] args) { try { //加载驱动 Class.forName("com.mysql.jdbc.Driver"); //获取连接对象 Connection conn = Dr...

原创 Maven初级思维导图

原创 Maven-初级

Maven基础学习目标能够了解Maven的作用（第一章，1.1）能够理解Maven仓库的作用（第一章，1.2）能够理解Maven的坐标概念（第一章，1.2）能够掌握Maven的安装（第二章，2.1）能够掌握IDEA配置本地Maven（第二章，2.2）能够使用IDEA创建javase的Maven工程（第三章，3.1）能够使用IDEA创建javaweb的Maven工程（第三章，3.2）...