![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 79
哇咔咔大数据
蓦然回首 却在灯火阑珊
展开
-
Spark集群搭建
Spark集群搭建 安装环境监测 搭建之前确认对应的java版本为8版本 搭建之前确认对应的 scala 版本为2.12.x版本 [root@node01 ~]# rpm -ivh scala-2.12.11.rpm [root@node01 ~]# whereis scala [root@node01 ~]# vim /etc/profile export SCALA_HOME=/usr/share/scala export PATH=$SCALA_HOME/bin:$P原创 2021-08-21 17:32:19 · 243 阅读 · 0 评论 -
关系型数据库(SQL)与非关系型数据库(NOSQL)
关系型数据库与非关系型数据库 关系型数据库 采用关系模型来组织数据的数据库,关系模型就是二维表格模型。一张二维表的表名就是关系,二维表中的一行就是一条记录,二维表中的一列就是一个字段。 优点 容易理解 使用方便,通用的sql语言 易于维护,丰富的完整性(实体完整性、参照完整性和用户定义的完整性)大大降低了数据冗余和数据不一致的概率 缺点 磁盘I/O是并发的瓶颈 海量数据查询效率低 横向扩展困难,无法简单的通过添加硬件和服务节点来扩展性能和负载能力,当需要对数据库进行升级和扩展时,需要停机维护和数据迁移原创 2021-07-22 14:05:46 · 562 阅读 · 0 评论 -
Flume的案列使用
Flume的使用 案例1监控端口数据 http://flume.apache.org/FlumeUserGuide.html#a-simple-example 创建一个专门放置flume配置文件的目录 mkdir -p /opt/bdp/apache-flume-1.6.0-bin/options 创建配置文件 vim example.conf ##新增以下内容 # example.conf: A single-node Flume configuration # Name the comp原创 2021-07-21 09:23:29 · 145 阅读 · 0 评论 -
Sqoop
Sqoop (Sqoop 是连接传统关系型数据库和 Hadoop 的桥梁,它不需要开发人员编写相应的 Map Reduce 代 码,只需要编写简单的配置脚本即可,大大提升了开发效率。) 简单日志业务流程的分析 注意Sqoop的位置 Sqoop简介 官网:http://sqoop.apache.org/ :数据导入导出框架 Sqoop Sqoop产生背景 在工作中,我们经常会遇到下面这样的场景。 场景一:将关系型数据库中某张表的数据抽取到 Hadoop(HDFS/Hive/HBase)上; 场景二:将原创 2021-07-20 20:26:08 · 340 阅读 · 2 评论