![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
XiaoqiangNan
这个作者很懒,什么都没留下…
展开
-
hadoopRPC 实现代码
repc针对接口进行实现和调用 定义接口: package hadoopRpcinfo; public interface HadoopServiceInfo { public static final long versionID=1L; public String getNameNodeData(String path); } server端发布应用: ...原创 2018-12-24 11:25:37 · 184 阅读 · 0 评论 -
hadoop入门知识整理 一
基础概念初识: 云计算是分布式计算,并行计算,网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。 分为三种模式来向终端用户提供强大的计算能力: iaas:infrastructure as a service 基础设施及服务 Paas: platform as a service 平台即服务 Saas: softw...原创 2019-01-07 10:49:59 · 150 阅读 · 0 评论 -
Hadoop 入门系列 二
Hadoop基本概念 Hadoop是一套开源的软件平台 利用服务器集群。根据用户自定义业务逻辑,对海量数据进行分布式处理。 Hadoop的核心组件 HDFS 分布式文件系统 集群 文件读写 YARN 运算资源调度系统 集群 给mapreduce 分配硬件资源 MAPREDUCE 分布式运算编程框架 不是集群 通常我们所所的hadoop并不只是这些,而是一个hadoo...原创 2019-01-07 10:51:46 · 154 阅读 · 0 评论 -
hive安装出现的问题 Cannot create directory /tmp/hive. Name node is in safe mode
Cannot create directory /tmp/hive. Name node is in safe mode 出现这个问题的原因是 你的hadoop hdfs是在安全模式下启动的,关闭安全模式即可。 hdfs dfsadmin -safemode leave ...原创 2019-01-14 15:01:40 · 2497 阅读 · 2 评论 -
hive 安装 Exception in thread "main" java.lang.IncompatibleClassChangeError class jline.Terminal
[ERROR] Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected at jline.TerminalFactory.create(T...原创 2019-01-14 15:14:38 · 713 阅读 · 0 评论 -
hive安装 过程
环境准备: 下载hive Hive的下载地址:http://hive.apache.org/downloads.html 2.x版本的hive 对spark支持的比较好。对mapreduce的支持不好。 安装MySQL (mysqlServer,MySQLClient) 修改配置文件 创建一个 hive-site.xml <configuration...原创 2019-01-14 15:19:10 · 154 阅读 · 0 评论 -
Bad connect ack with firstBadLink as x.x.x.x:50010异常
hadoop 执行 fs -put 命令时报出异常 原因是 50010 端口被拦截,造成client 不通。 关闭hadoop节点的防火墙 ,或者开放此端口即可。原创 2019-01-15 09:54:23 · 632 阅读 · 0 评论