Hadoop
文章平均质量分 61
lucas朱
这个作者很懒,什么都没留下…
展开
-
HDFS一个文件出现多个小文件的问题
在采集数据的时候一个文件上传到HDFS的文件发现都是小文件 原因是hadoop的组件NamaNode出现问题 导致出现小文件得到错误解决方法: 1. 将服务器上的Hadoop根目录中 data/ logs 两个文件删除 rm -rf data/ logs/ 2. 将NameNode初始化/格式化 注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致, 集群找不到已往数据。如果集...原创 2021-11-15 13:49:53 · 2245 阅读 · 0 评论 -
Hadoop序列化
1.序列化简介 (1)什么是序列化 序列化就是把内存中的对象,转换成字节序列(或其他的据传输协议)方便存储(持久化的)到磁盘中和网络传输 反序列化就是将收到的字节序列转换成内存中的对象 (2)为什么要序列化 在工作当中,"正在运行"的对象只能在内存里,断电关机后就不会继续运行或者存在,而且只能在本地的进程中使用们不能被发送到网络上的另一台计算机上.而序列化可以存储"正在运行"对象,并且可以发送到...原创 2021-10-17 13:28:14 · 148 阅读 · 0 评论