hadoop
文章平均质量分 77
beat_it
IT,搞java 的
展开
-
Linux启动提示Kernel panic - not syncing: Attempted to kill init解决办法
系统:RHEL6.5系统启动的时候,按下‘e’键进入grub编辑界面,编辑grub菜单,选择“kernel /vmlinuz-XXXXro root=/dev/vogroup00/logvol00 rhgb quiet” 一栏,按‘e’键进入编辑,在末尾增加enforcing=0,即:kernel /vmlinuz-XXXXro root=/dev/vogroup00/logvol00 rhgb quiet enforcing=0(其中enforcing=0是需要加上去的,其他不动)按‘...转载 2020-05-24 21:17:23 · 1388 阅读 · 0 评论 -
hadoop nanenode -format错误
新搭建的集群进行hdfs格式化时报错,错误信息如下:hdfs namenode -formatError: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.NameNode 原因一:查看hadoop-xxx所属用户组是否正确,可使用 chown -R x:x hadoop-xx...2016-01-12 16:44:56 · 249 阅读 · 0 评论 -
hive解析lzo文件失败,No LZO codec found, cannot run
Hive创建外部表,指向lzo格式文件时,无法解析出数据,报错如下:java.io.IOException: No LZO codec found, cannot run.hiveserver2日志报错如下:Diagnostic Messages for this Task:Error: java.io.IOException: java.lang.reflect.Invocatio...2015-11-21 11:03:03 · 1879 阅读 · 5 评论 -
hive进行count(*)查询报错
使用Hive进行count(*)查询时报错,错误信息如下:chmod: changing permissions of 'hdfs://master138:9000/tmp/hive/anonymous/e013b757-aeee-4017-b0a8-d274d2fafee9/hive_2015-11-20_18-41-46_506_1447956695788790313-3/-mr-100...2015-11-21 10:52:16 · 4862 阅读 · 0 评论 -
eclipse提交mr到hadoop集群后任务卡住不执行
用eclipse远程提交mr到hadoop集群后,mr卡住后一直不执行,在控制台查日志发现错误如下:org.apache.hadoop.ipc.Client: Retrying connect to server:127.0.0.1:8030. Already tried 0time(s).org.apache.hadoop.ipc.Client: Retrying connect to s...2015-04-20 23:18:54 · 349 阅读 · 0 评论 -
在集群上执行mr(操作hbase)任务报错
通过eclipse 插件远程提交mr(有操作hbase)任务到集群执行没有问题,打成jar包在集群上执行报错,错误如下:15/04/19 00:20:40 WARN client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch hbase:meta table: org.ap...2015-04-19 15:30:35 · 281 阅读 · 0 评论 -
eclipse提交mr(操作hbase)出错
通过eclipse 远程提交mr(处理文件到hbase)到hadoop集群报错:错误信息如下:2015-04-19 11:31:46,800 WARN org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-jav...2015-04-19 12:40:10 · 178 阅读 · 0 评论 -
软件下载地址记录
软件下载地址记录:hadoop2.2:http://mirror.bit.edu.cn/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz hbase0.96.2:http://mirror.bit.edu.cn/apache/hbase/hbase-0.96.2/hbase-0.96.2-hadoop2-bin.tar.gz ...原创 2015-04-11 21:44:50 · 298 阅读 · 0 评论 -
hadoop mr file2hfile2hbase
写了个简单的mr 操作file到hfile,在把hfile倒入hbase的例子,在此记录一下:File2HFile2HBase.java代码:package com.lyq.study.example;import java.io.IOException;import java.security.PrivilegedAction;import java.util.Arr...2014-08-27 00:25:57 · 262 阅读 · 0 评论 -
java调用HBase api创建表,插入数据
今天看说学习了下通过java 调用HBase api 实习表的创建和数据插入的操作,贴下代码:package com.lyq.study.api;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Config...2014-08-24 21:06:01 · 1685 阅读 · 2 评论 -
Java操作FileSystem的简单应用
看着书写了下通过java操作filesystem api对hdfs操作的简单操作,贴下代码: package com.lyq.study.api;import java.io.IOException;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FSDataOutputStre...2014-08-20 21:46:54 · 2449 阅读 · 0 评论 -
hdfs读取文件插入到hbase简单实例
今天搞了个通过hdfs mapper读取文件插入到hbase表的简单实例,在这里记录一下,如下:java代码(File2HBase1.java): package com.lyq.study.example;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import o...2014-08-18 23:32:23 · 632 阅读 · 0 评论 -
Eclipse向hadoop提交作业时权限问题
通过Eclipse向hadoop 提交作业时权限问题报错:Permission denied: user=LiuYQ, access=WRITE, inode="/test":hadoop:supergroup 解决方法:在master集群上使用超级用户hadoop执行以下命令:hadoop fs -chmod 777 /testhadoop fs -chmod 777 ...原创 2014-08-17 10:58:08 · 180 阅读 · 0 评论 -
hadoop eclipse plugin 集成报错
把hadoop-eclipse-plugin-2.2.0.jar放到Eclipse的plugin目录,重启Eclipse后,运行WordCount报错:Java代码如下:package com.lyq.study.example;import java.io.IOException;import java.util.StringTokenizer;import org.apach...2014-08-17 09:59:04 · 87 阅读 · 0 评论