![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
if_want
这个作者很懒,什么都没留下…
展开
-
大数据随笔(七):HBase安装配置和编程示例
HBase安装首先根据hadoop版本选择合适的HBase版本。HBase版本参考我的hadoop是2.9.2,所以选择HBase版本是2.2.2下载地址tar -xzvf hbase-2.2.2-bin.tar.gz #解压mv hbase-2.2.2 hbase #重命名vi ~/.bashrc #添加环境变量export PATH=${JAVA_HOME}/bin:/home...原创 2020-03-22 20:01:43 · 294 阅读 · 0 评论 -
大数据随笔(六):分布式数据库HBase
HBase简介HBase是一种分布式数据库,可以用来存储结构化和半结构化的松散数据。通过水平扩展,可以让数千台服务器去存储海量数据。用HBase的原因:HDFS+MapReduce是面向离线的数据处理,无法满足实时要求;传统关系型数据库扩展有瓶颈,现在数据结构经常变化,关系型数据库往往模式确定后就很难变更了。HBase的访问接口:HBase数据模型列族可以动态扩展。更新操作会保留历史...原创 2020-03-19 23:06:13 · 314 阅读 · 0 评论 -
大数据随笔(五):HDFS编程示例
HDFS主要有两种编程方式:shell和java apishell有两套文件系统,一套是本地文件系统,一套是HDFS文件系统。shell命令中只有hadoop fs的命令是适用于这两种系统的,另两个只能用于HDFS文件系统。常用的shell命令有以下这些:./bin/hadoop fs:查看fs总共支持哪些命令./bin/hadoop fs -help put:查看put命令的帮助...原创 2020-03-06 19:18:31 · 262 阅读 · 0 评论 -
大数据随笔(四):IDEA配置编写hadoop程序
伪分布式Hadoop启动之后,打开Intellij IDEA,新建一个工程选择创建Maven工程,这是一个用于管理jar包的组件,本来一些Java程序需要依赖各种各样的jar包,需要自己去手动找到路径去导入,依赖大量jar包的时候手动一个个导入太过麻烦,Maven可以通过编辑一个叫pom.xml的配置文件来从Maven的代码库中自动下载所需要的jar包并配置依赖Project SDK选择前面下...原创 2020-03-06 16:47:40 · 629 阅读 · 0 评论 -
大数据随笔(三):分布式文件系统HDFS
HDFS简介分布式文件系统HDFS(Hadoop Distributed File System)文件系统结构HDFS优势:兼容廉价的硬件设备实现流数据读写(全部或大部分数据读写,不会读写指定数据)支持大数据集支持简单的文件模型强大的跨平台兼容性(java语言写的)HDFS自身的局限性:不适合低延迟数据访问,实时性不高(HBase可以)无法高效储存大量小文件(寻址耗时...原创 2020-03-05 22:07:32 · 264 阅读 · 0 评论 -
大数据随笔(二):虚拟机上Hadoop安装配置(伪分布式模式)
一、大数据的计算模式:不同的计算模式需要使用不同的产品批处理模式:一堆数据一起做批量处理,不能满足实时性要求。如MapReduce,Spark(实时性比MapReduce好,可以做迭代计算,MapReduce不能)流计算:针对流数据(日志流、用户点击流)的实时计算,需要实时处理。只能用流计算框架做。流计算代表产品:S4+Storm+Flume图计算:如社交网络数据,地理信息...原创 2020-03-05 18:39:11 · 382 阅读 · 0 评论 -
大数据随笔(一):大数据基本概念
首先官网下载hadoop和java安装包因为是虚拟机模拟,所以先绑定一下ip和域名sudo vi /etc/hosts在文件中添加ip和绑定的域名,127.0.1.1 YARN001,如下图:接下来网上下载解压jdk8和hadoop2.9.2...原创 2020-03-04 18:05:24 · 163 阅读 · 0 评论