![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop生态
ZL小屁孩
这个作者很懒,什么都没留下…
展开
-
win系统执行spark-sql报错:java.io.IOException: (null) entry in command string: null ls -F C:\tmp\hive
在IDEA中运行Spark SQL读取hdfs文件时报java.io.IOException: (null) entry in command string: null ls -F C:\tmp\hive的错,或者是报 Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir:原创 2020-09-01 22:57:52 · 997 阅读 · 0 评论 -
高可用性的ResourceManager
YARN的架构图有图可知,ResourceManager(RM)对整个集群的重要就不言而喻了吧。但是由于多种原因可能会造成ResourceManager出现问题,由于单位的集群ResourceManager也出现问题,今天我分析一下ResourceManager的High Availability(高可用性)。ResourceManager的作用:负责协调集群上计算资源的分配,与Nod...翻译 2018-12-08 21:49:08 · 1075 阅读 · 0 评论 -
zookeeper的伪分布式安装
我要养成记录的习惯!!!首先下载(版本zookeeper-3.4.12)-解压zookeeper伪分布式安装就是在同一台机器上安装多个zookeeper(即在同一台机器上有多个QuorumPeerMain进程)。我在同一台机器上安装了3个zookeeper。把解压完成的zookeeper-3.4.12重新命名为zookeeper01 : mv zookeeper-...原创 2018-11-08 16:19:24 · 472 阅读 · 0 评论 -
空值字段的hive处理
当遇到某个字段的属性值为空时,可以使用IF、ISNULL函数进行处理。hive的IF函数:IF(expr1,expr2,expr3) - If expr1 is TRUE (expr1 <> 0 and expr1 <> NULL) then IF() returns expr2; otherwise it returns expr3. IF() returns a...原创 2018-10-16 09:41:48 · 2988 阅读 · 0 评论 -
sqoop-1.4.6小应用
使用sqoop-1.4.6由mysql向hive导入数据:sqoop import --connect "jdbc:mysql://ip:mysql_port/mysql_database_name?useUnicode=true&characterEncoding=UTF-8" --username mysql_user_name --password mysql_user_passwo...原创 2018-02-08 10:48:17 · 271 阅读 · 0 评论 -
CDH5.8.3集群部署
是关于CDH-5.8.3的hadoop-2.6.0生态系统的安装,在很大一部分上可以增加稳定性和协调性,要比单个安装apache 版本的hadoop生态系统要简单方便原创 2017-10-15 19:55:41 · 2006 阅读 · 0 评论 -
hive-sql语句-小小结
对hive查询语句的一些小总结原创 2017-09-04 16:25:33 · 566 阅读 · 0 评论 -
mapreduce
1、自定义key和value组合键类NewKeyPari public static class NewKeyPari implements WritableComparable{ Long first; Date second; public Long getFirst() { return first; } public void setFirst(Lon原创 2016-06-29 20:31:57 · 494 阅读 · 0 评论 -
hadoop-2.6.0 完全分布式安装
hadoop-2.6.0集群配置,有什么其他问题欢迎交流原创 2016-05-14 15:57:07 · 564 阅读 · 0 评论 -
安装hadoop-hama
1、 在vmware forlinux上安装Centos6.52、 在centos上配置网络信息3、 Centos创建用户“zhuhaichuan”4、 关闭防火墙5、 配置/etc/hosts文件6、 Jdk安装7、 ssh无密码登陆8、 hadoop配置安装9、 hama配置安装 注意:我的jdk安装在root用户中,ssh、原创 2016-06-18 13:12:57 · 1080 阅读 · 0 评论 -
mapreduce 平均成绩
package org.mapreduce;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import原创 2016-06-29 20:38:41 · 853 阅读 · 0 评论 -
java.lang.IllegalArgumentException: Wrong FS://expected: file:///
有错误提示file:///的提示信息是想需要本地文件系统(file:///为本地文件系统标识),代码无法识别HDFS文件系统,需要在Configuration中配置相应的参数。如何来配置Configuration参数?使用hadoop-2.6.0(因为我用的是apache-hadoop-2.6.0版本)的core-site.xml(/HADOOP_HOME/etc/hadoop/)的fs.原创 2017-08-08 18:20:28 · 6718 阅读 · 1 评论 -
Wrong FS: hdfs://hadoop20:9000/word.txt, expected: file:///
今天搭建了一个hadoop2.0(yarn集群平台),首先在上面测试了一个FileSystem实例程序,代码如下:import java.io.IOException;import java.net.URISyntaxException;import org.apache.commons.compress.utils.IOUtils;import org.apache.hadoop.c原创 2017-08-08 18:56:07 · 1097 阅读 · 1 评论