Hadoop
whitemiao
Be a voice not an echo
展开
-
Kettle对Hadoop作业笔记
先创建作业再选转换Hadoop: Hadoop file input →Excel/txt/... Excel/txt/...→Hadoop file outHive: 表输出→Excel输出(获取字段)(admin用户权限问题)[新建(hive2)→获取sql语句] Excel输入→表输出Hadoop copy Files可以将本地文件上传到HDFS,也可以向Hive导入数据: start(在通用里)→Hadoop copy Files 执行Hive...原创 2021-01-10 11:22:43 · 138 阅读 · 0 评论 -
简单使用Sqoop的命令
一、import命令1.将mysql表test中的数据导入hive的hivetest表,hive的hivetest表不存在sqoop import --connect jdbc:mysql://192.168.1.111:3306/test --username hive --password hive --table test --hive-table hivetest --hive-im...原创 2019-04-17 15:08:16 · 256 阅读 · 0 评论 -
Hadoop下载文件到本地报错Exception in thread "main" java.lang.NullPointerException
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.o...原创 2019-04-03 17:43:57 · 1122 阅读 · 0 评论 -
User: hadoop is not allowed to impersonate hadoop问题解决方法
{"RemoteException":{"message":"User: master is not allowed to impersonate master","exception":"RemoteException","javaClassName":"org.apache.hadoop.ipc.RemoteException"}}在hadoop启动了httpfs后使用curl -i "...原创 2019-04-01 15:01:37 · 6428 阅读 · 1 评论 -
Exceptionin thread "main" java.lang.UnsatisfiedLinkError问题
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z在win10的eclipse中运行mapreduce程序报错如上最终在网上查找资料说是hadoop/bin下面hadoop原创 2017-09-20 19:11:57 · 2985 阅读 · 0 评论 -
start-all.sh出现Error:Cannot find configuration directory问题
在执行start-all.sh命令之后出现了以下的问题这是因为找不到配置文件所以在配置环境变量的文件里添加以下环境变量即可(我是在~/.bash_profile文件配置的环境变量) export HADOOP_HOME=/home/hadoop/bigdata/hadoop-2.5.0-cdh5.3.6/ export HADOOP_COMMON_HOME=$HADOO原创 2017-07-22 15:58:32 · 1195 阅读 · 0 评论 -
HDFS相关
HDFS架构详解 HDFS底层架构:1.分布式文件系统:·物理层存储的分布式基于客户机/服务器模式 通常一个分布式文件系统提供多个供用户访问的服务器·通常情况下都会提供备份和容错的功能·通常情况下都基于操作系统的本地文件系统 -ext3,ext4 -NTFS·分布式文件系统优点 1)传统文件系统最的问题是容量和吞吐量的限制 2)多原创 2017-03-07 21:33:36 · 502 阅读 · 0 评论 -
在腾讯云下搭建Hadoop伪分布式模式
安装包准备JDK1.7.X安装包(64位)Hadoop2.6.0安装包(64位)环境准备1.设置IP地址执行命令:service network restart 验证:ifconfig2.关闭防火墙执行命令:service iptables stop 验证:service iptables status3.关闭防火墙的自动运行执行命令:chkconfig iptables off 验证:原创 2017-04-13 17:17:10 · 1273 阅读 · 2 评论 -
腾讯云Namenode启动失败
在腾讯云上面搭建了一个Hadoop的伪分布式模式但是执行jps命令之后Namenode总是启动失败经过查找原因发现是主机名的配置出现了问题我是这么配置的因为这个是外网ip,所以用这个ip配置是不对的,我用xshell连接云服务器一直使用的是外网ip,所以对自己产生了误导实际应该是用内网,也就是ifconfig命令后出现的ip然...原创 2017-04-13 17:29:33 · 380 阅读 · 0 评论 -
Hadoop中NameNode节点起不来可能出现的原因
Hadoop中NameNode节点起不来有一种原因可能是因为虚拟机linux的ip地址发生了改变然后启动NameNode时出现了以下的错误这个报出提示:No route to host ,找不到主机的路由,因为我的主机ip被更改成了192.168.48.131,所以找不到主机路由因为一开始使用的是动态ip地址,会出现变化,所以改成静态并改回原创 2016-11-08 16:33:12 · 8226 阅读 · 0 评论