Hadoop之HDFS常用文件操作命令

命令基本格式 hadoop fs -cmd < args > ls  列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls /dir hadoop fs -ls -R /dir --列出hdfs文件系统所有...

2019-05-22 10:57:09

阅读数 25

评论数 0

spark与hadoop集成详解

我们经常被问到如何让spark集成到hadoop生态系统中,如何让spark在现有的hadoop集群中运行,本文的目的就是来回答上述问题。 1,spark主要用于提高而不是取代hadoop栈,从一开始spark就被设计从hdfs中读取存储数据,类似于其他的存储系统,例如Hbase, Amazon...

2019-05-21 09:48:30

阅读数 106

评论数 0

2分钟读懂大数据框架 Hadoop 和 Spark 的异同

简介 谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。 解决问题的层面不一样 首先,Hadoop和Apache Spark两者都是大数据框架,但是各...

2019-05-21 09:30:12

阅读数 25

评论数 0

SpringBoot多数据源配置(hive/mysql)

简介 在项目实践中,同一个项目可能需要整合多种数据源,把分散到各个数据库、数据表的数据都查询统计出来; SpringBoot有默认的数据源配置,本篇博客将整合SpringBoot多数据源配置,包括mysql、hive等,通过jdbctemplate或mybatis进行使用; 版本配置(版本可...

2019-05-20 11:00:42

阅读数 112

评论数 0

Hadoop大数据生态:SpringBoot整合hive,使用spring的jdbcTemplate操作Hive

简介 使用开发工具连接hive客户端,整合SpringBoot与Hive的连接,同时进行数据的增删查改; 创建hive连接,放入druid数据库连接池,自动注入jdbctemplate; 开发前提:已经安装hive客户端,可参考博客:阿里云ECS7安装搭建:hive-2.1.1客户端; 版...

2019-05-18 14:39:19

阅读数 112

评论数 0

Hadoop大数据生态:Hive自定义设置连接用户名和密码

简介 当hive客户端搭建起来之后,应用项目远程连接hive需要设置用户名和密码; 由于hive默认的用户名和密码都是空的,所以需要我们自定义用户名和密码; 实践 首先,需要先用java开发工具打包一个jar工具类,用于解析用户名和密码,可直接下载这个jar工具包:hiveAuth.jar;...

2019-05-17 19:17:38

阅读数 135

评论数 0

Hadoop大数据生态:hive与hbase整合

简介 hive和hbase都是基于hadoop大数据生态而衍生的不同的技术,hbase是一种nosql的key/value数据库,主要用于数据的实时查询,速度比较快,而hive主要使用HQL语言运行MapReduce任务,主要用于统计查询,但速度较慢; 两者属于互补的关系,这两种工具可以同时进...

2019-05-17 17:37:19

阅读数 37

评论数 0

阿里云ECS7安装搭建:hive-2.1.1客户端

简介 hive在hadoop大数据生态里面,主要用于hdfs上的数据的统计查询,与hbase形成互补关系,但查询时间会相对较慢; 搭建hive客户端前提环境: 已经安装hadoop集群,可参考上一篇博客:hadoop集群安装搭建; 已经有安装好的mysql数据库(可以是本机也可以是其他服务器...

2019-05-17 11:56:43

阅读数 59

评论数 0

springBoot连接hbase,用java操作hbase,实现增删改查功能

简介 hbase在hadoop的大数据生态里扮演者不可或缺的作用,特别在数据的实时查询方面; 当hbase的分布式集群在linux服务器搭建起来之后,我们需要使用java客户端去连接调用,实现数据的增删查改; 本篇博客整合了springBoot与hbase的连接与调用,版本配置:hadoop...

2019-05-16 17:59:19

阅读数 72

评论数 0

阿里云ECS7安装搭建:hbase1.3.3分布式集群

简介 Apache HBase是一种Key/Value系统,它运行在HDFS之上。和Hive不一样,Hbase的能够在它的数据库上实时运行,而不是运行MapReduce任务; Hbase适合用来进行大数据的实时查询,支持增删查改,但不支持复杂的统计功能,统计功能一般使用Hive; 安装HBa...

2019-05-16 10:47:20

阅读数 41

评论数 0

Hbase总结(四)- Hbase与传统数据库的区别

在说HBase之前,我想再唠叨几句。做互联网应用的哥们儿应该都清楚,互联网应用这东西,你没办法预测你的系统什么时候会被多少人访问,你面临的用户到底有多少,说不定今天你的用户还少,明天系统用户就变多了,结果您的系统应付不过来了了,不干了,这岂不是咱哥几个的悲哀,说时髦点就叫“杯具啊”。 其实说白了,...

2019-05-15 15:26:39

阅读数 24

评论数 0

阿里云ECS7安装搭建:hadoop2.7.6分布式集群

简介 hadoop是一个分布式系统基础架构,是大数据生态的一个总称; 核心设计包括:HDFS和MapReduce,HDFS为海量数据提供了存储,而MapReduce则为海量数据提供了计算; 本篇博客则主要描述在阿里云服务器下部署hadoop集群 环境准备 两台阿里云服务器(实验环境,正...

2019-05-07 16:41:27

阅读数 83

评论数 0

Hadoop名词详解:HDFS、NameNode和DataNode

概览 首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本...

2019-05-06 19:59:51

阅读数 39

评论数 0

HBase shell 命令介绍

HBase shell是HBase的一套命令行工具,类似传统数据中的sql概念,可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后,如果配置了HBase的环境变量,只要在shell中执行hbase shell就可以进入命令行界面,HBase的搭建可以参考我的上一篇文章:h...

2019-05-06 19:40:02

阅读数 80

评论数 0

Hbase,Hive,Mysql区别与联系

Hive - Mysql Hive mysql 查询语言 HQL SQL 数据存储 HDFS 磁盘上 执行 MR Excutor ...

2019-04-18 18:05:40

阅读数 68

评论数 0

HIVE和HBASE区别

1. 两者分别是什么? Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它...

2019-04-18 17:42:48

阅读数 65

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭