big data
大数据基础入门,以及涉及到的数据库的使用
艾艾猫dori
这个作者很懒,什么都没留下…
展开
-
hive数据库的常用命令操作
启动hivehive启动成功就进入了hive的shell操作界面。查看数据库hive> show databases;OKdefaulthive1hive2Time taken: 0.031 seconds, Fetched: 3 row(s)查看表hive> show tables;OKhelloworldTime taken: 0.056 seconds, Fetched: 1 row(s)切换数据库hive> use hive1;OKTime原创 2020-08-27 15:29:36 · 1177 阅读 · 1 评论 -
hdfs文件操作命令&jar包运行命令&报错java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
注意:一下提到的”目录“,含义均为:”位置“。就是觉得说目录好像书面语一点啦。1.文件上传[hadoop@hadoop000 tmp]$ hadoop dfs -put ./info.txt /data/info.txt命令格式:hadoop dfs -put 要上传的文件所在目录 上传到hdfs上的文件目录目录形式:2.文件查看 hadoop dfs -text /data/info.txt命令格式: hadoop dfs -text 需要查看的hdfs文件目录3.文件删除.原创 2020-08-25 22:52:39 · 993 阅读 · 0 评论 -
hadoop下zookeeper的安装与配置&Java API操作zookeeper
1、ZK下载http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz2、解压ZK[hadoop@hadoop000 software]$ tar zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz -C ../app/ [hadoop@hadoop000 software]$ cd ../app/zookeeper-3.4.5-cdh5.7.0/3、ZK主要目录(1)ZK的启动脚本目录原创 2020-08-24 16:41:36 · 338 阅读 · 0 评论 -
分布式列式数据HBase介绍&HBase的安装、配置、启动关闭&使用&HBase Shell 常用命令
HDFS存文件,MapReduce处理数据,处理数据中间会有传输延迟,所以要在HDFS和MapReduce中间创建一个数据库用来存数据,这个数据库就是HBase。Hbase体系结构解析:原创 2020-08-20 16:03:53 · 398 阅读 · 0 评论 -
MapReduce处理流程&wordCount源码解析和操作流程
操作文档参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.htmlMapReduce处理流程:输入: 一系列的键值对<k1,v1>map: map<k1,v1>转换成<k2,v2>reduce: <k2,v2>转换成<k3,v3>输出: 一系列的键值对&l原创 2020-08-19 09:50:05 · 302 阅读 · 0 评论 -
Hadoop安装流程&使用CDH版的Hadoop搭建HDFS环境
搭建步骤Linux主机配置添加IP和hostname的映射关系ssh免密码登录原创 2020-08-17 19:04:34 · 429 阅读 · 0 评论 -
HDFS Java API实操&HDFS文件操作代码
1、创建maven quickstart项目(1)配置maven环境1)settings.xml 2)idea中的配置(2)pom文件中添加依赖<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.7</maven.compiler.source> <maven.comp原创 2020-08-17 18:41:25 · 213 阅读 · 0 评论 -
大数据基本概念&hadoop、hadoop生态系统&hdfs&MapReduce
大数据的特点大量化速度快多样化价值密度低为什么学习Hadoop?低成本:基于开源软件。运行于通用硬件平台。高拓展性:在可用的计算机集簇间分配数据并完成任务。这些集簇可以方便拓展到数以千计的节点中。高效性:高容错性...原创 2020-08-17 18:10:52 · 203 阅读 · 0 评论