![](https://img-blog.csdnimg.cn/20190927151117521.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据存储
HIVE
hailunw
这个作者很懒,什么都没留下…
展开
-
DAS SAN NAS的简介
分布式计算简介原创 2021-06-09 16:56:33 · 104 阅读 · 0 评论 -
读写分离(主从复制)简介
概念原创 2021-08-10 16:34:01 · 123 阅读 · 0 评论 -
分库分表简介
分库分表原创 2021-08-10 16:32:33 · 103 阅读 · 0 评论 -
MySQL的索引简介
定义索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构,它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的数据结构二叉树红黑树Hash表B-Tree...原创 2021-08-09 18:10:18 · 157 阅读 · 0 评论 -
MySQL Log简介
Airflow是一款开源的,分布式任务调度框架,它将一个具有上下级依赖关系的工作流,组装成一个有向无环图。原创 2021-08-06 10:51:24 · 175 阅读 · 0 评论 -
MySql中SQL的执行过程
1)原创 2021-08-05 07:46:28 · 174 阅读 · 0 评论 -
MySQL 的隔离级别及MVCC简介
DDD(Domain-Driven Design,领域驱动设计),由Eric Evans在他的同名书中首次描述-旨在将我们的注意力放在应用程序的核心,专注于业务领域固有的复杂性本身。MVC和DDD主要的区别在Service层,主要区别: MVC:Service 实现全量业务逻辑,BO(Business Object)保存业务对象,属于贫血模型; DDD:Service 实现少量业务逻辑,DO(Domain Object) 包含聚合跟、聚合、实体、值对象,从技术上来看就是实体,里面有相关领原创 2021-08-05 07:45:40 · 132 阅读 · 0 评论 -
计算机数据的度量衡
计算机数据的度量衡 名称 和字节的关系 bit 1/8 Byte 1 KB 1024 MB 1024*1024 GB 1024*1024*1024 TB 1024*1024*1024*1024 PB 1024*1024*1024*1024*1024 ExaB 1024*1024*1024*1024*102...原创 2021-08-06 13:41:28 · 290 阅读 · 0 评论 -
HBASE的安装步骤
1)下载安装包并解压缩[user@NewBieSlave1 ~]$ wget https://mirrors.bfsu.edu.cn/apache/hbase/2.3.5/hbase-2.3.5-bin.tar.gz--2021-07-23 23:52:23-- https://mirrors.bfsu.edu.cn/apache/hbase/2.3.5/hbase-2.3.5-bin.tar.gzResolving mirrors.bfsu.edu.cn (mirrors.bfsu.edu.c原创 2021-07-24 13:52:04 · 425 阅读 · 0 评论 -
Zookeeper简介及安装,以及Hadoop的HA集群(hdfs的namenode和yarn的resourcemanager)配置
Zookeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。Zo...原创 2021-06-14 18:42:05 · 440 阅读 · 2 评论 -
Hadoop环境的基准测试----自己电脑搭虚拟机的话就别测了,我电脑的主板差点烧了。
这样做的好处是: 保证存储在空间最大的硬盘上。配置步骤是:原创 2021-07-03 15:32:42 · 450 阅读 · 1 评论 -
搭建Hadoop环境
1)准备Hadoop服务器 NewBieMasterNewBieSlave1原创 2021-06-12 21:39:06 · 90 阅读 · 0 评论 -
HDFS配置lzo压缩
Flume最初是Cloudera开发的实时日志收集系统,2011年10月22日Cloudera对Flume进行了里程碑式的改动,重构核心组件,核心配置以及代码架构,并将其纳入了Apache转载 2021-06-11 09:50:48 · 500 阅读 · 0 评论 -
大数据项目实战---电商埋点日志分析(第二部分,ODS层)
大数据项目实战---电商埋点日志分析(第二部分,基于hdfs中的数据进行ETL以及分析)原创 2021-07-04 20:20:50 · 287 阅读 · 2 评论 -
Hadoop HA集群怎么格式化namenode?
1)停止Hadoop集群2)确保所有的服务器上zkServer都在运行[user@NewBieSlave2 ~]$ zkServer.sh startZooKeeper JMX enabled by defaultUsing config: /home/user/apache-zookeeper/bin/../conf/zoo.cfgStarting zookeeper ... STARTED[user@NewBieSlave2 ~]$ zkServer.sh statusZooKeep原创 2021-07-07 18:58:06 · 564 阅读 · 0 评论 -
Spark消费kafka数据的两种方式
Receiver based approachDirect Approach原创 2021-06-27 10:02:14 · 106 阅读 · 0 评论 -
HBASE简介
HBASE简介原创 2021-06-30 21:59:35 · 86 阅读 · 0 评论 -
大数据项目实战---电商埋点日志分析(第八部分,用户留存主题(DWS层+ADS层)
大数据项目实战---电商埋点日志分析(第八部分,用户留存主题(DWS层+ADS层)原创 2021-07-09 17:30:37 · 241 阅读 · 0 评论 -
大数据项目实战---电商埋点日志分析(第七部分,每日新增设备主题(DWS层+ADS层)
大数据项目实战---电商埋点日志分析(第七部分,DWS层之每日新增设备主题)原创 2021-07-09 16:17:32 · 207 阅读 · 0 评论 -
大数据项目实战---电商埋点日志分析(第六部分,ADS层之用户活跃主题)
大数据项目实战---电商埋点日志分析(第六部分,ADS层之用户活跃主题)原创 2021-07-09 14:31:04 · 164 阅读 · 0 评论 -
大数据项目实战---电商埋点日志分析(第五部分,DWS层之用户活跃主题)
大数据项目实战---电商埋点日志分析(第五部分,构建DWS层)原创 2021-07-09 13:08:39 · 149 阅读 · 0 评论 -
大数据项目实战---电商埋点日志分析(第四部分,DWD层深度解析)
大数据项目实战---电商埋点日志分析(第四部分,DWD层深度解析)原创 2021-07-08 20:02:40 · 236 阅读 · 0 评论 -
HIVE中UDTF的使用
HIVE中UDTF的使用原创 2021-07-08 17:12:37 · 118 阅读 · 0 评论 -
HIVE中UDF的使用
HIVE中UDF的使用原创 2021-07-08 14:48:17 · 91 阅读 · 0 评论 -
Tez的简介以及安装配置
Tez简介Tez是一个Hive的运行引擎,由于没有中间存盘的过程,性能优于MR。Tez可以将多个依赖作业转换成一个作业,这样只需要写一次HDFS,中间节点少,提高作业的计算性能。Tez的安装步骤原创 2021-07-07 09:47:10 · 1801 阅读 · 1 评论 -
HIVE以及MySQL的安装配置
1)卸载已安装的mysql2)安装mysql原创 2021-06-13 16:01:21 · 387 阅读 · 0 评论 -
HIVE简介
HIVEFacebook开源用于解决海量结构化日志的数据统计,是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是将HQL转化成MapReduce程序。原创 2021-06-13 12:28:39 · 212 阅读 · 0 评论