Hadoop
Rayfutao
这个作者很懒,什么都没留下…
展开
-
阿里云hadoop安装
一、JAVA安装解压jdk安装包到指定路径root@hadoop:~# tar -zxvf jdk1.8.0.tar.gz -C /usr配置环境变量root@hadoop:~# vim /etc/profile#文件底部加入export JAVA_HOME=/usr/jdk1.8.0_151export JRE_HOME=${JAVA_HOME}/jreexport CLASS...原创 2019-07-25 14:27:55 · 399 阅读 · 0 评论 -
Hive exited with status 1
使用sqoop将mysql数据导入到hadoop中再导入hive中报错如下:19/08/03 15:20:24 INFO hive.HiveImport: Loading uploaded data into Hive19/08/03 15:20:31 INFO hive.HiveImport: SLF4J: Class path contains multiple SLF4J bind...原创 2019-08-03 16:04:48 · 5154 阅读 · 0 评论 -
Sqoop报警告hcatalog does not exist!...accumulo does not exist!解决方案
执行Sqoop中import命令后报错解决方案:在$SQOOP_HOME/bin目录下面修改configure-sqoop文件,注释掉以下内容:然后先后执行start-dfs.sh与start-yarn.sh启动hadoop集群,Sqoop功能恢复正常。...转载 2019-07-31 11:44:03 · 427 阅读 · 0 评论 -
Hive集群搭建
一、Hive简介Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,数据储存在:hdfs上,hsql是由替换简单的mapreduce,hive通过mysql来记录映射数据。二、环境jdk可用hadoop集群可用mysql可用三台服务器:master、server1、server2三、Hive安装下载地址:https:/...原创 2019-08-02 11:07:53 · 523 阅读 · 0 评论 -
Hadoop HDFS
一、简介Hadoop Distributed File System,分布式文件系统二、架构Block数据块; 基本存储单位,一般大小为64M(hadoop2中是128M, 配置大的块主要是因为:1)减少搜寻时间,一般硬盘传输速率比寻道时间要快,大的块可以减少寻道时间;2)减少管理块的数据开销,每个块都需要在NameNode上有对应的记录;3)对数据块进行读写,减少建立网络...原创 2019-08-19 19:48:50 · 117 阅读 · 0 评论 -
Hadoop Yarn
一、Yarn架构Yarn就是将JobTracker的职责进行拆分,将资源管理和任务调度监控拆分成独立的进程:一个全局的资源管理和一个每个作业的管理(ApplicationMaster) ResourceManager和NodeManager提供了计算资源的分配和管理,而ApplicationMaster则完成应用程序的运行ResourceManager:全局资源管理和任务调度 No...原创 2019-08-19 20:39:44 · 439 阅读 · 0 评论 -
Hadoop MapReduce
一、简介一种分布式的计算方式指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组Pattern map: (K1, V1) → list(K2, V2) combine: (K2, list(V2)) → list(K2,...原创 2019-08-19 21:26:53 · 92 阅读 · 0 评论