大数据基础知识
userZhaoYR
不断学习,不断进步
一起学习,一起进步
展开
-
Hbase shell 命令
打开Hadoop: sbin/start-all.sh 打开hbase:bin/start-hbase.sh 1.启动: bin/hbase shell 2.帮助:help 3.Debug模式:debug 退出ds 4.Status :查看集群的各种信息 5.Version:查看版本 6.创建一个表和两个列族:create 'table1','cm1','cm2'原创 2017-08-12 16:53:01 · 392 阅读 · 1 评论 -
序列化的两种实现方式
序列化:结构化对象字节流 1.自定义数据类型,实现Writable接口或者WritebaleComparable接口。 如果作为value,实现Writable就可以;如果作为key的话,必须是可排序的,是可排序的必然就是可比较的,需要实现WritebaleComparable。 2.Avro(跨语言) 构建Maven项目添加依赖导包比较方便。通过Scheme进行序列化和反序列化。原创 2017-08-12 15:05:31 · 1471 阅读 · 1 评论 -
对HDFS的操作方式
1.shell 主要使用Hadoop命令+子命令 2.API JAVA API 1>创建工程,导入jar包 $hadoop_home/share/hadoop/common/*.jar $hadoop_home/share/hadoop/common/lib/*.jar $hadoop_home/share/hadoop/hdfs/*.jar $hadoop_home/shar原创 2017-08-12 13:35:18 · 707 阅读 · 0 评论 -
hdfs shell 命令
1 上传:bin/hadoop fs -put/-copyFromLocal Linux本地文件 HDFS路径 2 查看文件列表:bin/hadoop fs -ls HDFS路径 3 查看文件内容:bin/hadoop fs -cat HDFS路径 4 创建目录: 一级目录:bin/hadoop fs -mkdir /aaa 多级目录原创 2017-08-12 13:29:53 · 425 阅读 · 0 评论