自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 大数据-初识flume

目录flume概述flume基础架构 flume概述 flume百度百科 flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输系统,基于流式架构,灵活简单 flume基础架构 agent agent是一个JVM进程,它以事件的形式将数据从源头送到目的地,主要由 source channel sink 三部分组成 source source 是负责接收数据到flume agent 的组件,source 组件可以处理各种类型,各种格式的日志数据,包括a

2020-08-17 16:09:54 28

原创 大数据-浅谈hive优化

浅谈hive调优fetch抓取本地模式表优化大小表join大表join大表MR优化并行执行严格模式JVM重用推测执行 fetch抓取 hive在某些情况下可以不必使用MapReduce计算,例如select * from table1;这种情况下,hive可以简单的读取table1对应的存储目录下的文件,然后输出查询结果到控制台. 在hive-default.xml文件里配置,默认是more,在全局查找,字段查找,limit查找等都不走MapReduce 本地模式 大多数的hadoop job是需要h

2020-08-14 10:19:25 28

原创 大数据-hive入门详解

目录hive概述什么是hive?HQL转换成MR流程hive的优缺点hive的架构 hive概述 什么是hive? 维基百科-hive Apache Hive 中文手册 hive是建立在hadoop架构上的数据仓库工具,能够提供数据精炼、查询和分析,能够将结构化的数据文件映射成一张表,并提供类SQL查询功能,底层是将SQL转换成MR程序 HQL转换成MR流程 首先hive通过对SQL进行统计分析,将SQL语言中常用的操作用MapReduce写成很多模板,所有的MapReduce模板都封装在hive中

2020-08-13 10:16:14 89

原创 大数据-分布式锁(数据库,redis,zookeeper)

目录分布式锁的实现方式分布式锁需要考虑的问题基于数据库实现分布式锁基于数据库表实现分布式锁基于数据库排他锁实现基于Redis实现分布式锁set命令和lua脚本Redisson框架基于zookeeper实现分布式锁排他锁、共享锁及羊群效应基于Curator客户端实现分布式锁 分布式锁的实现方式 基于数据库实现分布式锁; 基于缓存(Redis等)实现分布式锁; 基于Zookeeper实现分布式锁; 分布式锁需要考虑的问题 在分布式环境下,同一个方法同一时间只能由一个机器的一个线程执行 高可用的获取和释放锁

2020-08-06 13:40:48 75

原创 大数据-zookeeper(上)

Zookeeper概述 zookeeper的wiki zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目 zookeeper负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦数据发生了变更,zookeeper就负责通知已经注册的那些观察者 zookeeper是一主(leader)多从(follower)组成的集群 集群中只要有半数以上的节点存活,zookeeper就能正常提供服务 全局数据保持一致,每个server都保存一份相同的数据副本,client不论连接到那个

2020-08-05 15:54:12 53

原创 力扣:旋转矩阵(scala)

题目描述 给你一幅由 N × N 矩阵表示的图像,其中每个像素的大小为 4 字节。请你设计一种算法,将图像旋转 90 度。 不占用额外内存空间能否做到? 示例 1: 给定 matrix = [ [1,2,3], [4,5,6], [7,8,9] ], 原地旋转输入矩阵,使其变为: [ [7,4,1], [8,5,2], [9,6,3] ] 示例 2: 给定 matrix = [ [ 5, 1, 9,11], [ 2, 4, 8,10], [13, 3.

2020-08-04 16:48:25 57

转载 大数据-redis进阶

redis持久化 redis主要工作在内存中,断电后数据会清空,redis提供了两种不同级别的持久化机制. ① RDB 能够在指定的时间间隔内对数据进行快照存储 ② AOF 记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始数据,AOF命令以redis协议追加保存每次写的操作到文件末尾,redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大.同时开启两种持久化机制的时候,当redis重启的时候会优先导入AOF文件来恢复原始的数据,在通常情况下AOF文件保存的数据集.

2020-08-04 16:47:09 43

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除