Tate的博客

Hadoop的HA搭建一、hdfs的HA ZK NN DN RM NM JN ZKFCnode1 1 1 1 1 1node2 1 1 1 1 1 1 1node3 1 1 1 11、关闭防火墙service iptables stop2、时间同步yum install ntpntpdate -u s2c.time.edu.cn或者date -s 2018050...

Hive练习题数据2018/6/1,102018/6/2,112018/6/3,112018/6/4,122018/6/5,142018/6/6,152018/6/7,132018/6/8,372018/6/9,182018/6/10,192018/6/11,102018/6/12,112018/6/13,112018/6/14,122018/6/15,14结果...

1、MapReduce概述1.1 MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“Hadoop的数据分析应用”的核心框架。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。...

当MapReduce任务不能正常执行时，我们可以将该任务kill掉。使用 hadoop job -list 列出当前hadoop正在执行的jobs。可以查看到job任务的编号，然后使用命令：hadoop job -kill job编号 来杀死该job任务。...

1、相关参数介绍1.1 sqoop参数1.2 导入 import1.3 导出 export2、sqoop使用案例说明：使用下方命令需要在/etc/profile中配置SQOOP_HOME;如未配置，需要在sqoop安装目录下使用bin/sqoop命令格式。2.1 测试Sqoop是否能够成功连接数据库命令：sqoop list-databases --connect jdbc...

1、HDFS概述1.什么是HDFS?HDFS是Hadoop Distribute File System 的简称，意为：Hadoop分布式文件系统。是由很多服务器联合起来实现其功能，且集群中的服务器各有各自的角色；是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。HDFS使用场景：一次写入，多次读出的场景，且不支持对文件的修改。正因为如此，HDFS适合用来做大数据分析的底层存储...

1、 Hadoop介绍从狭义上来说，Hadoop是指适合海量数据分布式存储和分布式计算的平台，它有三大核心组件：HDFS（分布式文件系统）：解决海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNameNodeYARN（作业调度和集群资源管理的框架）：解决资源任务调度，集群中的角色主要有：ResourceManager、NodeManagerMAP...