![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习笔记
桑家大少
开发 永无止境
展开
-
Hive的基本概念+安装及配置
Hive基本概念(学习成本很低,sql) 解决海量结构化日志的数据统计 是基于Hadoop的一个数据仓库的工具,可以将结构化的数据文件映射为一张表,提供类SQL查询功能。 本质 将HQL转化为MapReduce程序 Hive处理的数据存储在HDFS Hive分析数据底层的默认实现是MapReduce (可以spark)【离线存储可以用,吞吐量大】 执行程...原创 2020-05-13 10:53:30 · 273 阅读 · 0 评论 -
Zookeeper API 测试代码
https://blog.csdn.net/qq_39063526/article/details/105998288 中的代码import java.lang.String;import org.apache.zookeeper.*;import org.apache.zookeeper.data.Stat;import org.junit.Before;import org....原创 2020-05-08 16:23:01 · 179 阅读 · 0 评论 -
Zookeeper集群搭建+客户端命令行操作+内部原理ZAB协议+API
协调大数据之间的框架合作 入门 Zookeeper为分布式应用提供协调服务的Apache项目 观察者模式 工作机制 存数据,通知注册过的观察者 ----协调 Zookeeper特点 : 主从(leader-follower) ...原创 2020-05-08 15:25:36 · 227 阅读 · 1 评论 -
MapReduce核心思想+详细流程学习(附案例代码)
MapReduce概述 MapReduce定义 MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。 优缺点 ...原创 2020-05-07 11:18:44 · 752 阅读 · 0 评论 -
Maven自动化配置工具 eclipse
Maven 添加第三包jar包 转存失败重新上传取消 解决jar包之间的依赖关系 转存失败重新上传取消 处理jar包之间的冲突 版本冲突 获取第三方jar包 转存失败重新上传取消 将项目拆分成多个工程模块 1 ...原创 2020-04-22 11:18:59 · 149 阅读 · 0 评论 -
Redis事务+持久化+主从复制+Redis集群
Redis事务 Redis事务是一个单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。 Redis事务的主要作用就是串联多个命令防止别的命令插队。 Redis事务中的三个命令 Multi 、Exec 、 discard 转存失败重新上传取消 Mult...原创 2020-04-22 11:12:41 · 172 阅读 · 0 评论 -
Redis基础解释+安装教程+五大数据类型+Jedis验证码
Redis Redis和Memcached的比较 转存失败重新上传取消 转存失败重新上传取消转存失败重新上传取消 转存失败重新上传取消转存失败重新上传取消 转存失败重新上传取消转存失败重新上传取消 makediskclean 转存失败重新上传取消转存失败重新上传取消 red...原创 2020-04-22 11:05:27 · 167 阅读 · 0 评论