Hadoop
文章平均质量分 64
Hadoop部署以及问题解决
一杯咖啡半杯糖
让优秀成为一种习惯!
展开
-
Hadoop IPC‘s epoch 8 is less than the last promised epoch 9 ; journal id:
IPC's epoch 8 is less than the last promised epoch 9 ; journal id:原创 2022-11-28 10:58:55 · 754 阅读 · 0 评论 -
HDFS如何保证数据的完整性
在读写过程中,由校验和检测数据的完整性客户端写入datanode的时候,HDFS会对写入的数据计算校验和,默认每512个字节校验一次校验和,由dfs.bytes-per-checksum配置,在 hdfs-default.xml中配置<property><name>dfs.stream-buffer-size</name><val...原创 2018-09-11 20:35:46 · 3412 阅读 · 0 评论 -
hadoop序列化对象
hadoop序列化对象和传统java序列化对象不同 ,要实现以下几步 ,具体方式如下(1)必须实现Writable接口(2)反序列化时,需要反射调用空参构造函数,所以必须有空参构造(3)重写序列化方法(4)重写反序列化方法(5)注意反序列化的顺序和序列化的顺序完全一致(6)要想把结果显示在文件中,需要重写toString(),且用”\t”分开,方便后续用可以导入lomb...原创 2018-07-30 20:31:18 · 1173 阅读 · 0 评论 -
Cannot remove current directory: /opt/module/hadoop-2.7.2/data/tmp/dfs/name/current
出现这个问题是因为权限的问题,格式化时出现的data是root权限原创 2018-07-01 11:34:12 · 3589 阅读 · 0 评论 -
HDFS启动的时候出现JAVA_HOME is not set and could not be found.
HDFS启动的时候出现JAVA_HOME is not set and could not be found.原创 2022-10-24 17:45:25 · 5188 阅读 · 0 评论 -
启动HDFS时候出现Attempting to operate on hdfs namenode as root
Attempting to operate on hdfs namenode as root原创 2022-10-24 17:35:26 · 1186 阅读 · 0 评论 -
linux下搭建hadoop伪分布式
1、准备一台虚拟机,可参考我前面的博客,克隆虚拟机-https://blog.csdn.net/sinat_23225111/article/details/812099832、需要准备hadoop的tar包和java安装包,解压到如下路径下3、解压tar包到指定的路径下 tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/ ...原创 2018-08-13 20:11:43 · 1512 阅读 · 0 评论