hadoop
文章平均质量分 67
sun_shang
天下为家,车舆所至之处,皆曰行在。
展开
-
hadoop shell命令详解
hadoop的shell命令分为两种:一种是启动命令:位于sbin目录下面一种是控制/操作命令(HDFS+MapReduce+yarn),主要位于bin目录下面,其实最终的启动命令也是调用了控制命令来进行机器服务的启动,区别在于启动命令中需要使用ssh的相关命令来控制其他机器启动服务,而控制/操作命令主要是直接调用了hadoop体统的服务了接口。hadoop配置信息:hadoo原创 2017-09-26 00:08:42 · 3058 阅读 · 0 评论 -
hive与hbase区别
hive与hbase的区别: hive 核心将sql转换为MapReduce 将存储在hdfs上的结构化的数据映射成一张数据库表,并提供类sql语句进行查询hive的特点: 高延迟存储的是结构化的数据 hive是面向分析,使用的hql语言hive不能接入业务使用 hive是面向行存储的数据仓库工具,是一种纯逻辑表 hive本身不存储数据和计算数原创 2017-09-14 19:41:30 · 2412 阅读 · 0 评论 -
hadoop 2.x常用端口及查看方法
一、常用端口组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口,用于数据传输HDFSDataNode50075dfs.datanode.http.addresshttp服务的端口HDFSDataNode50475dfs.datanode.https.addresshttps服务的端口H转载 2017-09-21 14:56:01 · 1737 阅读 · 2 评论 -
(配置Hadoop2.x 环境搭建)完全分布式集群
完全分布式的安装 一、集群规划组件PC1PC2PC3HDFSNamenodeSecondaryNamenode DatanodeDatanodeDatanodeYarn原创 2017-08-29 21:08:58 · 946 阅读 · 0 评论 -
SparkCore程序可能遇到的异常
Windows上IDEA中运行SparkCore程序可能遇到的异常 -1. null/bin/winutils.exe 原因是:windows上配置配置好hadoop的环境解决方案:按照文档进行配置("Windows环境中MR任务的三种运行方式.zip"),重启IDEA及电脑即可 -2. Exception in thread "main" org.apache.spa原创 2017-10-21 21:26:21 · 607 阅读 · 1 评论