hadoop学习
ant_yi
这个作者很懒,什么都没留下…
展开
-
hadoop命令
hadoop fs 访问hadoop的HDFS 后可加ls、mkdir等等hadoop fs -ls /aaa 查看aaa目录里有什么文件(查看指定路径的当前目录结构)hadoop fs -lsr /aaa 查看aaa目录里包括子目录的所有文件(递归查看指定路径的目录结构)hadoop fs -du /aaa 统计aaa目录里文件的大小(hadoop fs -du -h /aaa 更好...原创 2018-10-09 11:45:20 · 1345 阅读 · 0 评论 -
hbase——3. 导入导出表
启动hadoop:start-all.sh启动hbase:start-hbase.sh导出表:导出到hdfs:(也可以导出到本地)[root@hadoop01 ~]# hbase org.apache.hadoop.hbase.mapreduce.Export table1 hdfs://hadoop01:9000/test/hbase查看结果:[root@hadoo...原创 2019-04-21 20:58:08 · 1520 阅读 · 0 评论 -
hbase——2.hbase shell
启动hbase:1.启动hadoop,因为hbase架设在hdfs之上,start-all.sh2.启动hbase,start-hbase.sh,hbase网址端口160103.进入shell命令行,hbase shell创建表:create命令,需要指定表名和列族ColumnFamilyhbase(main):002:0> create 'table1'...原创 2019-04-21 20:56:09 · 1475 阅读 · 0 评论 -
hbase——1.基础
hbase:高可靠型、高性能、面向列、可伸缩的分布式存储数据库,hbase运行于hdfs之上,使用zookeeper作为协调工具。与关系型数据库对比:1.数据类型方面关系型数据库有很多数据类型(int,char等),hbase只有字符串。2.数据操作方面关系型数据库定义了非常多的操作。如表间的连接操作,关系型数据库效率很低;而hbase存在一张表中不需要连接,提升...原创 2019-04-21 20:51:11 · 1511 阅读 · 0 评论 -
hive——2.使用
启动hive:启动hadoop:start-all.sh启动hive:hive[root@hadoop01 ~]# hivehive>DDL操作:创建表:create命令hive> create table student(id bigint,name string,age int);OKTime taken: 0.945 seconds...原创 2019-04-21 20:48:37 · 1469 阅读 · 0 评论 -
hive——1.安装
安装mysql:(1)下载安装包文件:wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm(2)安装mysql-community-release-el7-5.noarch.rpm包:rpm -ivh mysql-community-release-el7-5.noarch.rpm(3)安装mys...原创 2019-04-21 20:46:16 · 1345 阅读 · 0 评论 -
HDFS常用命令
前言HDFS命令基本格式:hadoop fs -cmd < args >ls 命令hadoop fs -ls /1列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /1列出hdfs文件系统所有的目录和文件put 命令hadoop fs -put < local file > < hdfs file >...原创 2019-04-21 20:41:00 · 1554 阅读 · 0 评论 -
MapReduce——3.wordcount源码
现在来一部分 一部分的理解程序:要写一个mapreduce程序,首先要实现一个map函数和reduce函数。map的方法:protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, LongWritable>.Context context)/** * KEYI...原创 2019-04-21 20:40:09 · 1443 阅读 · 0 评论 -
MapReduce——2.运行WordCount
hadoop实现了wordcount.java,并打好了jar包,在目录:/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar1.启动hadoop,start-all.sh2.在hdfs上创建个待分析的文件[root@master test]# hadoop fs -mkdir -p /test...原创 2019-04-21 20:38:44 · 2100 阅读 · 0 评论 -
MapReduce——1.基础
官网教程:http://hadoop.apache.org/docs/r1.0.4/cn/mapred_tutorial.htmlHadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。虽然Hadoop框架是用JavaTM实现的,但Map/Reduce应用程序则...原创 2019-04-21 20:34:39 · 1370 阅读 · 0 评论 -
hdfs常用命令
HDFS命令基本格式:hadoop fs -cmd < args > ls 命令hadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件 put 命令hadoop fs -put < local file > < hdfs file >本...原创 2019-01-07 22:11:32 · 1398 阅读 · 0 评论 -
hadoop生态圈
hdfs: 存文件的,分布式文件存储系统 map-reduce: 有map和reduce两个阶段,适用于分布式的并行计算。 yarn: 资源调度的,资源管理器,新的map-reduce版本详细介绍:https://www.cnblogs.com/yjd_hycf_space/p/6735290.html hbase: 就是一种数据库,面向列的非关系型数据库hbase...原创 2018-11-29 23:57:23 · 1398 阅读 · 0 评论 -
hive——3. hive实例:搜狗用户搜索日志
数据来源:搜狗实验室官方网站的用户查询日志,http://www.sogou.com/labs/resource/q.php第一列:搜索时间第二列:用户ID第三列:搜索内容第四列:搜索内容出现在搜索结果页面的第几行第五列:用户点击的是页面的第几行第六列:用户点击的超链接可以看到第四列和第五列之间是空格不是tap,使用记事本查找替换,记事本输入tap无效,可以复制...原创 2019-05-30 23:40:17 · 2804 阅读 · 2 评论