HDFS
aaaaajiboke
你可以称呼我大佬
展开
-
fsimage与editslog
fsimage与editslog NameNode中的元数据是在内存中用ArrayList保存的,但是要考虑到如果电脑停电了突然关机了,那么NameNode中的元数据就被释放掉没有了,所以就有editslog,editslog包含了元数据还有一系列的操作。 如果要使用这些数据,在开机的时候就会加载editslog,恢复到关机之前的场景,因为我们处理的是大数据,里面有亿万级的操作,每次开机的时候很慢...原创 2018-09-18 19:52:32 · 872 阅读 · 1 评论 -
MapReduce处理数据
1、编写自定义类 如果写二次排序的话再在里面添加 package org.hdfs.urlMapReduce; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.WritableComparable; public class...原创 2018-09-25 11:40:42 · 1225 阅读 · 0 评论 -
HIVE的模板
HIVE的使用模板 1、显示所有数据库 show databases; 2、显示数据库所有的表 use mydatabase; show tables; 3、查询表中的内容 select * from mytable; 4、显示表的结构 desc mytable; 5、创建数据库 create database mydatabase; 6、清空表内...原创 2018-09-15 20:05:07 · 583 阅读 · 2 评论 -
Sqooop使用模板
Sqoop使用模板 Sqoop使用模板 1、测试连接数据库 2、将数据从MySQL导入到HDFS 1、导入到默认的HDFS路径 2、导入到自定义路径 3、设置map的数量,以及删除目标文件夹,防止目标路径已存在 4、设置map的数量,以及删除目标文件夹,以及指定导出分隔符 3、将数据从MySQL导入到hive中 4、将数据从HDFS导出到MySQL中 5、将数据从hive导出到M...原创 2018-09-15 20:53:35 · 336 阅读 · 0 评论