- 博客(6)
- 收藏
- 关注
RSS订阅原创 Hive架构原理
底层是基础仓Hadoop 。HDFS和MapReduce 他是依赖于这两个来工作的。 Meta store 是他的元数据信息 其实是自己的表和HDFS里的文件的对应关系， 必须有这个关系才能找到具体的文件。 Driver驱动是Hive自己内核里有的 解析器、编译器、执行器、优化器。他们都是Hive来把HQL转化为MR所需要的一些组件 当然他不是将所有的HQL都转化为MR insert这...
2018-10-24 20:57:42
162
原创 Hive与Mysql比较
Hive与Mysql的比较 他们的操作语言类似，创建表、创建数据库、基本的增删改查 其他的所有东西都不一样，内核、存储位置、能不能更新、有没有索引、执行的延迟、扩展性方面、数据规模都不一样。 总体来说Mysql处理的数据量都比较小，延迟很低，Hive数据量很大，但延迟很高。为什么会导致这些那是因为他的内核关系，Mysql是存储在本地文件系统的，而且他的扩展性很差 Hive是存储在分布式文件...
2018-10-24 20:57:10
2710
原创 Hive出错心得
1、启动mysql报错starting mysql.....the server quit without updating pid fil[失败]lib/mysql/hadoop102.pid). 解决：进程里已经存在mysql进程 用命令“ps -ef|grep mysqld”查看是否有mysqld进程，如果有使用“kill -9 进程号”杀死 重新启动服务 问题...
2018-10-23 21:19:28
371
原创 浅谈springboot的时代背景微服务
微服务是在2014年martin fowler发表了一篇很生动形象的描述微服务文章才被人们所熟知。 网址:https://martinfowler.com/microservices/ 微服务其实是一种架构风格。他的不同点在于提倡我们在开发一个应用的时候这个应用应该是做为一系列小服务的总和。 这些小型服务每一个都运行在自己的进程内，可以通过http的方式来进行沟通，即沟通方式是轻量级的。 之前有...
2018-10-22 16:34:46
413
原创 springboot简介
官网：https://spring.io/projects/spring-boot Springboot是spring团队在2014年伴随spring4.0版本开发出的一个框架 Springboot的作用是帮我们很快捷的简单的创建一个独立的产品级别的spring应用 springboot是着眼于整个J2EE的整个解决方案 他考虑到了企业级开发的各种场景如缓存、消息、检索、安全等他都一...
2018-10-22 10:44:18
155
原创 springboot与数据访问
springboot在底层得益于springdata 。 他使用springdata进行数据访问,有了springdata 无论是sql还是nosql,springboot都能轻松应付。
2018-10-22 10:21:49
168
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人