RedSnipers的博客

原创 大数据技术之Hadoop（MapReduce）

大数据技术之Hadoop（MapReduce）一 MapReduce概念Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。1.1 为什么要MapReduce1）海量数据在单机上处理因为硬件资源限制，无法胜任2）而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度3）引入mapreduc.

原创 HDFS读数据流程

HDFS读数据流程1）客户端向namenode请求下载文件，namenode通过查询元数据，找到文件块所在的datanode地址。2）挑选一台datanode（就近原则，然后随机）服务器，请求读取数据。3）datanode开始传输数据给客户端（从磁盘里面读取数据放入流，以packet为单位来做校验）。4）客户端以packet为单位接收，先在本地缓存，然后写入目标文件。...

原创 HDFS写数据流程

HDFS写数据流程剖析文件写入1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。5）客户端请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成6）dn1、dn2、dn3逐级应答客户端7）客户端开始往dn1上传第一个

原创 大数据技术之yum仓库配置

大数据技术之yum仓库配置一、yum仓库配置1 概述YUM（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装。2 yum的常用命令1）基本语法：yum install -y httpd （功能描述：安装httpd并确认安装）yum list （

原创 kettle概述

最近一直在和kettle打交道，从开始的没听说过，到如今能够熟练运用，不得不说项目驱动下，学习东西是最快的。好了，尽管使用kettle应付项目的任务绰绰有余。可是还是想系统的学习一下，总结一下。kettle是什么Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。kettle体系下的产品有哪些Kettle家族目前包括4

原创 Hadoop之HDFS概述

Hadoop之HDFS1 HDFS 概述随着数据的不断增长，使用单台电脑来存储文件已经无法存储大量的数据，需要分配更多的磁盘，这样就不好管理数据。因此急需一款系统能够自动管理多台电脑上的文件，其实就是分布式文件管理系统。HDFS 就是一种分布式文件系统，当然还有GFS（谷歌公司），Lustre（Oracle公司）1.1 定义HDFS（Hadoop Distributed File System）是一个分布式文件系统。用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来.

原创 Hadoop简介

Hadoop 简介1 Hadoop 是什么Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构主要解决，海量数据的存储和海量数据的分析计算问题广义上来说，Hadoop 通常是指一个更广泛的概念——Hadoop 生态圈2 Hadoop 的起源Lucene——Doug Cutting 开创的开源软件，用 Java 书写代码，实现与 Google 类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎2001 年年底成为 apache 基金会的一个子项目.

原创 ETL数据清洗概述

一、数据清洗简介数据清洗（Data Cleaning）原理即通过分析“脏数据”的产生原因和存在形式，利用现有的技术手段和方法去清洗“脏数据”,将原有的不符合要求的数据转化为满足数据质量或应用要求的数据，从而提高数据集的数据质量。数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数.

原创 大数据概述

一. 大数据概述1. 大数据的概念大数据（Big Data） 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。解决的问题海量数据的存储和海量数据的分析计算问题。数据存储单位bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB1Byte = 8bit 1K = 1024Byte 1MB = 1024K 1G = 1024M 1T = 1024G .

原创 Shell

一. Shell 基础1.1 什么是 ShellShell 是命令解释器( command interpreter )，是 Unix 操作系统的用户接口，程序从用户接口得到输入信息，Shell 将用户程序及其输入翻译成操作系统内核（ kernel ）能够识别的指令，并且操作系统内核执行完将返回的输出通过 Shell 再呈现给用户，如图 8.1 展示了用户、Shell 和内核的关系：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CjWDqRkC-159291600744.

原创 Linux 基础概述

一. Linux 概述1.1 Linux是什么Linux 是一个操作系统平台，我们平时常用的操作系统是 Windows。如果是苹果电脑，操作系统是 MacOS。那么还有一款系统叫做 Unix。其实 Unix 是一款比 Linux 更老的操作系统，而平时手机上的 Android 系统也是一款 Linux 操作系统。只不过 Windows 系统有非常好的可视化界面功能，一般应用于办公娱乐。而 Linux 系统常用于服务器，像百度，阿里，腾讯，字节跳动等一线互联网公司 99% 的操作系统都是 Linux。.

原创 Spring-MVC映射和请求参数乱码

一、映射1、标准URL映射2、Ant风格的URL映射*3、占位符映射 @requestMapping (show/{userid}/{name} ) 方法中（@pathVariable( userid) String id） http://localhost/hello2/833/yanqi.do4、限制请求方法映射 @requestMapping ( value=“ show2” , method=requestMehtod.POST)5、限制参数映射 @requestMapping(.

原创 SpringMVC 参数绑定

1、SpringMVC 参数绑定在 SpringMVC 中，提交请求的数据是通过方法形参来接收的。从客户端请求的 key/value 数据，经过参数绑定，将 key/value 数据绑定到 Controller 的形参上，然后在 Controller 就可以直接使用该形参。这里涉及到参数绑定组件，那么什么是参数组件，这里可以先理解为将请求的数据转换为我们需要的数据称为参数绑定组件，也就是参数绑定转换器。SpringMVC 内置了很多参数转换器，只有在极少数情况下需要我们自定义参数转换器。2、默认支持.

原创 MyBatis基础

一、 简介MyBatis的前身是Apache的iBatis开源项目，2010年更名为MyBatis ，并从ASF（Apache Software Fundation）迁移到了Google Code。2013年，源代码又托管到了GitHub。在MyBatis诞生之前，Hibernate已经取得了业界的认可，几乎是Java领域数据库持久化的事实标准。但随着互联网应用的发展，特别是Web2.0 的发展，互联网应用的数据量急剧增加，典型的应用就是电子商务，社交网络。Hibernate的高度面向.

原创 Spring-IOC控制反转

1、什么是 IOCIOC-Inversion of Control，即控制反转。它不是什么技术，而是一种设计思想。　　传统的创建对象的方法是直接通过 new 关键字，而 spring 则是通过 IOC 容器来创建对象，也就是说我们将创建对象的控制权交给了 IOC 容器。我们可以用一句话来概括 IOC：　　IOC 让程序员不再关注怎么去创建对象，而是关注与对象创建之后的操作，把对象的创建、初始化、销毁等工作交给spring容器来做2、Spring 容器创建对象的三种方式第一种方法：利用默认的构造方.

原创 Spring详解

1、什么是 SpringSpring是一个开源框架，Spring是于2003 年兴起的一个轻量级的Java 开发框架，由Rod Johnson 在其著作Expert One-On-One J2EE Development and Design中阐述的部分理念和原型衍生而来。它是为了解决企业应用开发的复杂性而创建的。框架的主要优势之一就是其分层架构，分层架构允许使用者选择使用哪一个组件，同时为 J2EE 应用程序开发提供集成的框架。Spring的用途不仅限于服务器端的开发。从简单性、可测试性和松耦合的角.

原创 Spring-AOP注解

1，什么是Spring-AOP注解Annotation(注解)是JDK1.5及以后版本引入的。它可以用于创建文档，跟踪代码中的依赖性，甚至执行基本编译时检查。注解是以‘@注解名’在代码中存在的。2，注解分类注解 @Component下面三个注解是 @Component 注解的衍生注解，功能一样@Repository ：dao层@Service：service层@Controller：web层注解 @Resource@Resource 注解，它可以对类成员变量、方法及构造函数进行标注，完成.

原创 Spring-事务管理

1、事务介绍事务（Transaction），一般是指要做的或所做的事情。在计算机术语中是指访问并可能更新数据库中各种数据项的一个程序执行单元(unit)。2、事务的四个特性（ACID）①、原子性（Atomicity）：事务是一个原子操作，由一系列动作组成。事务的原子性确保动作要么全部完成，要么完全不起作用。　　②、一致性（Consistency）：一旦事务完成（不管成功还是失败），系统必须确保它所建模的业务处于一致的状态，而不会是部分完成部分失败。在现实中的数据不应该被破坏。　　③、隔离性（Is.

原创 Spring-AOP

1、AOP 什么？AOP（Aspect Oriented Programming），通常称为面向切面编程。它利用一种称为"横切"的技术，剖解开封装的对象内部，并将那些影响了多个类的公共行为封装到一个可重用模块，并将其命名为"Aspect"，即切面。所谓"切面"，简单说就是那些与业务无关，却为业务模块所共同调用的逻辑或责任封装起来，便于减少系统的重复代码，降低模块之间的耦合度，并有利于未来的可操...

原创 EL表达式总结

EL表达式使JSP的开发变得更加简单EL 语法很简单，它最大的特点就是使用上很方便。接下来介绍EL主要的语法结构：${sessionScope.user.sex}所有EL都是以${为起始、以}为结尾的。上述EL范例的意思是：从Session的范围中，取得用户的性别。假若依照之前JSP Scriptlet的写法如下：User user =(User)session.getAttribut...

原创 servlet基础

1.什么是ServletServlet 运行在服务端的Java小程序，是sun公司提供一套规范，用来处理客户端请求、响应给浏览器的动态资源。但servlet的实质就是java代码，通过java的API 动态的向客户端输出内容2.Servlet接口中的方法1）init(ServletConfig config)创建servlet时会调用的方法，用来初始化一些配置信息，仅在创建servlet...

原创 单例模式与JDNI的了解

一、单例模式定义：单例模式确保某个类只有一个实例，而且自行实例化并向整个系统提供这个实例。在计算机系统中，线程池、缓存、日志对象、对话框、打印机、显卡的驱动程序对象常被设计成单例。这些应用都或多或少具有资源管理器的功能。选择单例模式就是为了避免不一致状态，避免政出多头（比如一个军队出现了多个司令员同时指挥，肯定会乱成一团）。二、单例模式特点：　　1、单例类只能有一个实例。　　2、单例类...

原创 JSP数据交互（二）

这里写自定义目录标题JSP数据交互（二）**JSP数据交互（二）变量的作用域：page作用域：在一个页面范围内有效，通过pageContext对象访问。request作用域：在一个服务器请求范围内有效。session作用域：再一次会话范围内有效。application作用域：在一个应用服务器范围内有效。cookie的简介：cookie是Web服务器保存在客户端的一系列文本信息...

原创 JSP数据交互

原创 JavaScript基础 事件

1.事件概述JS 是事件驱动的语言2.什么是事件我们在浏览器中做的所有的操作，例如：鼠标的点击、鼠标悬停、敲击键盘等等。简单的认为事件就是用户的操作。3.什么是事件驱动JS中会有内部机制监听这一系列的事件，当这些事件发生，JS会响应并且调用与事件相关的函数去处理该事件。4。常用的事件事件名 描述onload 某个页面或图像被完成加载onsubmit 当表单提交时触发该事件—注意事...

原创 JavaScript操作BOM对象

BOM：浏览器对象模型（Browser Object Model）BOM提供了独立于内容的、可以与浏览器窗口进行互动的对象结构BOM可实现功能：1。弹出新的浏览器窗口2。移动、关闭浏览器窗口以及调整窗口的大小3。页面的前进、后退...

原创 JavaScript的基础

1、什么是JavaScriptJavaScript是web上一种功能强大的编程语言，用于开发交互式的web页面。它不需要进行编译，而是直接嵌入在HTML页面中，由浏览器执行。2、JavaScript的组成部分JS由3个部分组成：ECMAScript： JS的核心，规定了JS的语法 和 词法DOM： Document Object Model 文档对象模型 主要用来跟网页打交道的BO...

原创 java 基础 IO 流

IO概述1 IO概念在程序运行过程中会产生很多数据，也需要使用外部的很多数据，产生的数据需要存储起来，比如用户提 交的信息等，程序也需要使用到外部的数据，比如外部的视频资源等。那么程序产生的数据需要保存起来， 保存到数据库或者文件中，就需要输出，程序也需要使用外部资源，就需要读入，这个读入/输出的操作就是I/O（I：input，O：output）。两个设备间的数据传输我们称为流，所...

原创 Java基础 集合框架

集合框架1 概述集合是用来存储对象的容器2 特点1）集合用来存储对象2）集合的大小是可变的3 集合与数组区别1）数组的大小是不可变的，集合的大小是可变的2）数组可以存储任意类型的数据，而集合只能存储对象（引用数据类型）4 体系结构（可使用图形解释）4.1单列集合集合中只存储值，Conllection类是所有单列集合的顶层父类4.2双列集合集合中存储键和值，根据键映射到值，...

原创 java基础 接口

@TOC欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全...

原创 Java基础 继承

[为什么要有继承？多个类中存在相同属性和行为时，将这些内容抽取到单独一个类中，那么多个类无需再定义这些属性和行为，只要继承那个类即可。此处的多个类称为 子类( 派生类)，单独的这个类称为父类(基类或超类)。可以理解为:“子类 is a 父类”;类继承语法规则:class Subclass extends SuperClass{ }1.继承的好处继承的出现减少了代码冗余，提高了代码的...

原创 java基础抽象与封装

@TOC欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全...

原创 java基础有参方法与包

参数列表：(数据类型 参数1，数据类型 参数2…)调用方法，传递的参数要与参数列表一一对应实例方法可以访问静态变量，不能访问非静态变量

原创 Java基础类与对象

[类(Class)和对象(Object)是面向对象的核心概念。类是对一类事物的描述，是抽象的、概念上的定义。对象是实际存在的该类事物的每个个体，因而也称为实例(instance)==实体。可以理解为： 类 = 抽象概念的人； 对象 = 实实在在的某个人面向对象程序设计的重点是 类的设计类的设计， 其实就是类的成员的设计.使用类的步骤;定义类：使用关键字class创建...

原创 java基础，循环结构

循环结构特点：循环条件成立，程序一直执行循环体中的代码While 特点：1）条件成立就进入循环，不成立就不循环2）一定要写条件递增表达式，避免死循环do while循环的特点：1）至少执行一次，先执行再判断for 循环特点：1）初始化表达式可以写到外边 int a =0;2）三个表达式只要合法就行break和continue区别：1.break是跳出循环，continue结...

原创 java选择结构

这里写自定义目录标题欢迎使用Markdown编辑![在这里插入图片描述](https://img-blog.csdnimg.cn/20191210202118291.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1JlZFNuaXBlcnM...

原创 java入门

@TOC欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全...

原创 java掌握面与对象

2.1 面向对象概述“面向对象”(英语：Object Oriented,简称OO)是一种以事物为中心的编程思想。面向对象程序设计（英语：Object-oriented programming，缩写：OOP），是一种程序开发的方法。它将对象作为程序的基本单元，将程序和数据封装其中，以提高软件的重用性、灵活性和扩展性。面向对象是相对于面向过程而言的（c则是一个典型的面向过程的语言），站...

原创 java 数组和方法

04数组和方法一、目标1.1 掌握数组作用1.2 掌握数组声明和特点1.3 掌握数组常用操作1.4 掌握Arrays类使用1.5 了解二维数组1.6 掌握方法二、数组概述2.1 定义案例分析现在需要统计某公司员工的工资情况，例如计算平均工资、找到最高工资等。假设该公司有50名员工，用前面所学的知识，程序首先需要声明50个变量来分别记住每位员工的工资，...

原创 java变量