hadoop
超丨哥
努力!奋斗!
展开
-
【解决办法】Cannot initialize Cluster. Please check you..
**eclipse 运行 hadoop mapreduce 程序 提交到集群运行 报错:**Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond原创 2017-02-28 23:48:49 · 5707 阅读 · 1 评论 -
hive2.1.1 部署安装
hive 安装教程 版本 2.1.1,本教程以mysql为元数据存储一、下载Hive下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/二、mysql配置1、下载mysql源安装包wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm2、安装mysql源y原创 2017-04-20 22:57:50 · 12725 阅读 · 0 评论 -
Hbase 1.2.5安装部署
一、安装zookeeper1、下载zookeeper 地址:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz 2、解压软件 tar vfx zookeeper-3.4.10.tar.gz3、创建log和data文件夹mkdir zookeeper-3.4.10/logmkd原创 2017-05-02 22:48:38 · 3179 阅读 · 0 评论 -
hadoop 2.7.3编译
1、安装jdk 配置环境变量2、安装maven 配置环境变量下载地址 http://maven.apache.org/download.cgi 根据需要下载适合自己的版本,我选择的是3.3.3 解压 tar -zxvf apache-maven-3.3.3-bin.tar.gz 到 /usr/soft 配置maven环境变量vi ~/.bash_profileexport MAVEN_原创 2017-03-14 23:01:41 · 491 阅读 · 0 评论 -
【解决办法】Hadoop安装完后,启动时报Error: JAVA_HOME is not set and could not be found.
Hadoop安装完后,启动时报Error: JAVA_HOME is not set and could not be found.解决办法: 修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。 应当使用绝对路径。 export JAVA_HOME=$JAVA_HOME //错误,不能原创 2017-02-06 14:23:34 · 2972 阅读 · 0 评论 -
【hadoop学习之一】Hadoop集群 安装配置
(一)环境准备1.机器准备 ps:以下使用的机器是自己搭建的虚拟机,操作系统是CentOS 6.7版本,内存2G,Cpu双核(1).机器IP 配置集群中包括3个节点:1个Master,2个slave,节点之间局域网连接,可以相互ping通,节点IP地址分布如下: 机器名 ip地址 用途 master 192.168.1.10 NameNode slave1 192原创 2016-11-30 22:48:58 · 329 阅读 · 0 评论 -
【解决办法】hadoop运行warn “util.NativeCodeLoader: Unable to load native-hadoop library for your platform”
ps:本片博文主要介绍如何解决 hadoop 在运行的时候出现如下 warn 的解决办法资源链接:hadoop官方文档所有版本地址:https://hadoop.apache.org/docs/hadoop Native Libraries 的官方介绍: http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-commo原创 2016-10-18 22:38:06 · 19901 阅读 · 2 评论 -
【解决办法】Hadoop2.6.4 datanode 无法启动,错误:All specified directories are failed to load.
在部署hadoop2.6.4 集群的时候碰到下面的错误FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to master/192.168.200.199:9000. Exi原创 2016-10-12 13:14:54 · 12142 阅读 · 6 评论 -
SSH 免密登陆解析
一、ssh工作流程图ssh 无密码登录要使用公钥与私钥。linux下可以用ssh-keygen生成公钥/私钥对。机器配置 A:192.168.1.1 B:192.168.1.2二、配置过程1. 在A机下生成公钥/私钥对。[yc@A ~]$ ssh-keygen -t rsa -P ''或者[yc@A ~]$ ssh-keygen *注:-P表示密码,-P ” 就表示空密码,也可以不用-P原创 2016-10-20 00:02:59 · 1093 阅读 · 1 评论 -
Hbase shell 常用命令
进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase查看当前用户hbase(main)> whoami表的管理查看所有表hbase(main)> list创建表语法:create , {...原创 2019-08-01 14:57:08 · 238 阅读 · 0 评论