有爱的码农-CSDN博客

原创 springboot自学小结

Spring Boot的优缺点快速入门：1.设置springboot的parent<parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><ver...

2018-09-17 18:07:04 268

Shuffle过程是MR的一个核心。简答了解Shuffle的作用:需求场景：　　在集群环境下，Map task和Reduce task运行在不同的节点上，这个情况下Reduce执行时需要跨节点从其他节点上拉取Map task的输出结果。如果集群上又很多任务在运行，会在运行时消耗很严重的网络资源（这属于正常现象），这种现象无法改变，只能最大化的减少资源的消耗。在数据拉取过程中怎么改变？　　1.完整的...

2018-03-08 09:41:41 300

原创 Hive框架学习

一、Hive：一个牛逼的数据仓库1.1 神马是Hive？　　Hive 是建立在 Hadoop 基础上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开...

2018-03-08 09:37:43 231

原创 [Hadoop]MapReduce中的InputSplit

在查看数据块的如何处理之前，我们需要更仔细地了解Hadoop如何存储数据。在Hadoop中，文件由一个一个的记录组成，最终由mapper任务一个一个的处理。例如，示例数据集包含有关1987至2008年间美国境内已完成航班的信息。如果要下载数据集可以打开如下网址： http://stat-computing.org/dataexpo/2009/the-data.html 。每一年都会生成一个大文件（...

2018-03-08 09:36:50 556

转载 JAVA正则表达式：Pattern类与Matcher类详解(转)

java.util.regex是一个用正则表达式所订制的模式来对字符串进行匹配工作的类库包。它包括两个类：Pattern和Matcher Pattern 一个Pattern是一个正则表达式经编译后的表现模式。 Matcher 一个Matcher对象是一个状态机器，它依据Pattern对象做为匹配模式对字符串展开匹配检查。首先一个Pattern实例订制了一个所用语法与PERL的类似的正则表达式经编...

2018-03-08 09:36:17 120

转载 hadoop2升级的那点事情(详解)

前言前阵子，公司的hadoop从hadoop1.02升级到hadoop2.4.1，记录下升级的步骤和遇到的问题，和大家分享，希望别人可以少走一些弯路技术选型当前使用版本： apache hadoop 1.0.2 hive 0.10 升级目标版本 Apache hadoop 2.4.1 Hive 0.13 升级风险点Hdfs的升级Hadoop升级最主要是hdf...

2018-03-08 09:35:03 192

转载常见JedisConnectionException异常分析

最近项目开发中用到了Redis, 选择了官网推荐的java client Jedis。Redis常用命令学习：http://redis.io/commandsRedis官方推荐Java客户端Jedis（包含了所有Redis命令的实现）：https://github.com/xetorthio/jedisJedis使用过程中最常见异常JedisConnectionException有时确实给我们带来...

2018-03-08 09:32:58 13075

小白的博客