2020年11月_文文鑫

12月 11月 10月

原创 Hadoop-第一个MapReduce程序（WordCount）开发

1.准备数据文件aa.log(注意空格)wenxin xaiowen wangwuxiaowen xiaoxin wenxinxiaowen zhangshan lisi2. 启动Hadoop集群3. 将数据文件上传到HDFS文件系统中[root@Cluster00 ~]# hdfs dfs -mkdir /wordcount[root@Cluster00 ~]# hdfs dfs -put aa.lpg /wordcount3.开发MapReduce引入相关依赖 <

2020-11-29 17:10:07 218

原创 Hadoop-job作业体系结构与每个阶段分析

1. job作业的体系结构A. 一组MapReduce代表一个job作业，代表一次计算B. job作业的来源一定是HDFS,最终结果保存到HDFS中C. 在整个阶段中，Map和Reduce需要程序员手工编码2. 各个阶段分析（WordCount-单词计数）...

2020-11-29 15:54:27 265

原创 Hadoop-MapReduce+Yarn核心原理

1. MapReduce核心：Hadoop体系下一个编程模型（计算框架），主要是用来操作HDFS中存储数据并对HDFS中数据进行计算2. Map+ReduceMap：用来对局部数据进行运算局部运算Reduce：对局部运算的结果做汇总运算汇总运算3. Yarn（统一资源调度器，任务资源管理器）a. 整合hadoop集群中资源（CPU，内存）进行统一调度。比如：12核，1234G;监控map和reduce的执行情况b. Yarn=Resoucer

2020-11-05 12:34:12 160

原创 Hadoop-HA的HDFS集群原理分析

简单HDFS集群中存在的问题？如何解决NameNode 单节点问题单节点自动故障转移如何解决NameNode单节点问题？a. 找一个额外的NameNode备份原有数据b. 如何解决集群中脑裂（一个集群中多个管理者数据不一致这种情况叫做脑裂）如何解决启动多个NameNode时保证统一时刻只有一个NameNode工作，避免脑裂问题？QJM 使用zookeeper完成高可用zookeeper作为一个监控者，NameNode相互切换的工作，如果活跃节点active宕机，自动切换sta.

2020-11-05 01:00:08 155

原创 Hadoop-windows10安装部署Hadoop2.7.3

1.到官网下载hadoo安装到windows本地地址 https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz2. 解压3. 进行设置环境变量1）新建 HADOOP_HOME D:\Hadoop\hadoop-2.7.3\hadoop-2.7.32） Path中增加 %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin3）并且把hadoop.dll和win

2020-11-04 22:31:22 816

原创 Hadoop-HDFS的简单架构原理

1. Hadoop引言Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分成两大类角色：Master和Slave。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件

2020-11-03 20:44:59 265 1

原创 Hadoop-大数据引言

1. 什么是大数据？对大量的数据集文件处理的过程，称之为大数据（TB级以上）大量数据集：b—k---M—G---T—PB—EB—ZB 换算单位：10242. 为什么是大数据？通过对海量数据进行统计分析，从而在这些分析和统计过程中找出内在规律，从而伪国家和企业创造价值3. 大数据特点？4v特征1.Volume（大量）数据集非常大 TB级以上||如果数据增长在每天/GB级2.Variety（多样）数据格式多样非格式化：音频，视频半结构：json，mongdb3.Velocity（快

2020-11-02 22:33:15 630

原创 SpringBoot-SpringBoot整合mybatis

引入相关依赖a. mybatis-spring-boot-starter依赖b. mysql相关依赖c. druid依赖(阿里巴巴的数据源，连接池依赖)  <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-s.

2020-11-25 21:27:34 85

原创 SpringBoot-SpringBoot第一个程序注解详情

应用层：package com.wenxin.controller;import org.springframework.web.bind.annotation.GetMapping;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RestController;@RestController //等价于@Controller(

2020-11-19 22:50:08 102

原创 SpringBoot-SpringBoot2.2.5环境搭建

环境要求System Requirements:jdk 1.8+maven 3.3+spring Framework 5.2.4.RELEASEServletContainers:Tomcat 9.0jetty 9.4Undertow 2.0项目中引入依赖目录结构：修改配置文件：  <dependency> <groupId>org.springframework.

2020-11-19 22:08:29 964 1

原创 Spring-Spring整合mybatis

1. 导入相关jar包spring 相关jar包mybatis 相关jar包mysql 相关jar包mybatis-spring （mybatis和spring整合jar包2. 如何整合？整合思路？spring：项目管理框架，主要用来对项目中组件对象进行创建，使用，销毁；核心即为组件对象的创建mybatis：持久层框架，主要内部封装jdbc代码，用来简化jdbc对数据库访问；核心对象交给spring工厂整合思路：将现有mybatis框架中核心对象交给spring管理，由spring接管

2020-11-16 18:03:55 76

原创 Spring-Spring工厂细节

1. 工厂创建对象的次数a. 默认Spring工厂在管理组件对象创建时，默认创建的是单例b. 如何控制工厂创建对象的次数为多例：注意：在bean标签中加入scope属性，用来控制spring工厂穿件对象的次数scope属性的值：singleton 单例（dao service） prototype 多例(action)<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframewo

2020-11-13 18:29:01 122

原创 Spring-Spring第一个简单环境搭建-IDEA

1. 引入相关依赖（建议对maven配置阿里镜像）关键jar包<properties> <springframework.version>4.3.2.RELEASE</springframework.version> </properties> <dependencies> <dependency> <groupId>junit</groupId> &lt

2020-11-12 23:10:09 104

原创 Spring-Spring核心思想IOC（Inversion of Controll）控制反转和DI思想

**IOC定义：**控制反转实际上指的是控制权力的反转，具体指的是将原来项目中手动通过new关键字创建对象的权力交出来，交给spring（工厂），由工厂创建对象DI：（Dependency Injection）依赖注入语法：需要谁就将谁声明为成员变量并提供set方法，在工厂中使用property标签完成属性的注入IOC和DI概念：将原有项目中手动通过new关键字创建对象的权力交给spring，由工厂去创建对象，spring框架不仅要创建对象还要在创建对象的同时维护类与类之间的依赖关系，因此在IOC基础

2020-11-11 20:54:02 336

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

文文x的博客