Apache Hadoop生态圈新贵——Kudu

哈哈哈标题党了!

今天终于肝完了高级数据管理研讨课的PPT,我的PPT主题就是讲Kudu,文章后面我会把PPT贴上来(虽然我也只是www资料搬运工罢了)~整个过程下来有点想法,这不好久没水文了所以来冒个泡(bushi)


关于安装kudu

首先我特别有信心,所以在仅剩四天的情况下我选择先花了两天来搭建kudu集群环境,虽然我最后还是没搭起来,原因如下:

  • 第一天:
    • 我前阵子装了个Linux双系统,最后因为yoga系列芯片还是驱动啥的原因,键盘失效用不了,一直说卸了来着然后就一直下次(双系统这个问题我下次卸了一定再出一篇blog!一定一定一定!)。于是我C盘还剩60来g,D盘还剩50来g,我就前怕狼后怕虎就是怕磁盘空间不够,虚拟机不敢装、docker也不敢装、Linux系统更不敢卸,然后开了几十个CSDN企图证实自己的不敢动手是对的,于是一天没了:)
      我的纠结belike(我的内心希望这个答案是“不可以”==)
  • 第二天
    • 我决定不能这样,于是想在所里的服务器搞一波,但是猛然发现自己没有root权限==,pass。
    • 然后我发现课程群有个兄弟白嫖了阿里ECS服务器,于是我去借来了,想着装个单机的也行啊,但是这一天,我的xshell和xftp挂掉了(听我说谢谢你,于是我花了半个上午处理了这个问题,然后成功用上了兄弟的ECS服务器!但是,kudu仅支持在Ubuntu16上面装,这兄弟的服务器是Ubuntu20==,pass(在此谢谢兄弟)。
    • 于是我想起我亲爱的舍友前阵子装了虚拟机并且有Ubuntu,于是我去问了一下:太棒了!Ubuntu16!于是我顺利在Ubuntu上安装了kudu,但是Ubuntu启动失败了,8051页面没成功,具体原因我都没时间细究了,因为我已经占用我舍友电脑三个小时了,人家也要学习的!
    • 于是我想到老师说了他们和阿里云也有合作,于是我去问老师,老师的回复belike:
    • 阿苗告诉我可以租服务器,但是我觉得很麻烦(主要是没钱
    • 然后我去问了同小组的同学,因为她讲过kafka也有虚拟机还安装了好几个centOS!小姐姐人美心善借我电脑时间还是凌晨一点半,第二天我信心满满准备kudu集群开干,但是!小姐姐给我的三个系统没有图形界面——就是那个冷冰冰的BIOS界面呜呜,虽然咱也会一些命令行,但是因为kudu的安装需要从本地上传一些文件,所以真的搞得我眼睛快瞎了,太难受了!小姐姐的另外三个系统倒是有图形界面,但是因为里面装了Hadoop生态圈的一系列东西所以磁盘空间不够我装kudu了呜。当我快要窒息的时候,小姐姐说可以用xftp将本地文件传输给虚拟机(即使没有图形界面),是个好主意但是,那天她的xftp也挂了(听我再说谢谢你),所以,累了,直接做PPT吧——

“那就先介绍一下kudu吧”:)

  • 第三天和第四天我很认真地做了PPT,就在今天,我终于交上了!

一点感想

  • 不要拖延不要拖延不要拖延!
    • 你就说我Linux卸载地早、早点开始搞这个课程PPT,都不至于经历这极限四天(还包括两天周末==)
  • 怕这怕那不如直接就做,找个差不多的方案就执行,错了就错了,反正你不做,最后也是错:)
  • 年轻人,偶尔要听劝
    • 你就说我听了阿苗的劝先做kudu介绍PPT再搞集群环境,都不至于经历这极限四天(还包括两天周末==)

贴个PPT大纲哈哈哈


祝我明天汇报顺利~~~ 


  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由JDBC、Proxy和Sidecar(规划中)这3款相互独立,却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能,可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。 Apache ShardingSphere定位为关系型数据库中间件,旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力,而并非实现一个全新的关系型数据库。它通过关注不变,进而抓住事物本质。关系型数据库当今依然占有巨大市场,是各个公司核心业务的基石,未来也难于撼动,我们目前阶段更加关注在原有基础上的增量,而非颠覆。 Apache ShardingSphere 5.x版本开始致力于可插拔架构,项目的功能组件能够灵活的以可插拔的方式进行扩展。目前,数据分片、读写分离、多数据副本、数据加密、影子库压测等功能,以及对MySQL、PostgreSQL、SQLServer、Oracle等SQL与协议的支持,均通过插件的方式织入项目。开发者能够像使用积木一样定制属于自己的独特系统。Apache ShardingSphere目前已提供数十个SPI作为系统的扩展点,而且仍在不断增加中。 ShardingSphere特点: ShardingSphere-JDBC 定位为轻量级Java框架,在Java的JDBC层提供的额外服务。它使用客户端直连数据库,以jar包形式提供服务,无需额外部署和依赖,可理解为增强版的JDBC驱动,完全兼容JDBC和各种ORM框架。 适用于任何基于JDBC的ORM框架,如:JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。 支持任何第三方的数据库连接池,如:DBCP, C3P0, BoneCP, Druid, HikariCP等。 支持任意实现JDBC规范的数据库,目前支持MySQL,Oracle,SQLServer,PostgreSQL以及任何遵循SQL92标准的数据库。 ShardingSphere-Proxy 定位为透明化的数据库代理端,提供封装了数据库二进制协议的服务端版本,用于完成对异构语言的支持。 目前提供MySQL和PostgreSQL版本,它可以使用任何兼容MySQL/PostgreSQL协议的访问客户端(如:MySQL Command Client, MySQL Workbench, Navicat等)操作数据,对DBA更加友好。 向应用程序完全透明,可直接当做MySQL/PostgreSQL服务端使用。 适用于任何兼容MySQL/PostgreSQL协议的的客户端。 ShardingSphere-Sidecar(TODO) 定位为Kubernetes的云原生数据库代理,以Sidecar的形式代理所有对数据库的访问。通过无中心、零侵入的方案提供与数据库交互的的啮合层,即Database Mesh,又可称数据库网格。 Database Mesh的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来,它更加关注的是交互,是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用Database Mesh,访问数据库的应用和数据库终将形成一个巨大的网格体系,应用和数据库只需在网格体系中对号入座即可,它们都是被啮合层所治理的对象。 混合架构 ShardingSphere-JDBC采用无中心化架构,适用于Java开发的高性能的轻量级OLTP应用;ShardingSphere-Proxy提供静态入口以及异构语言的支持,适用于OLAP应用以及对分片数据库进行管理和运维的场景。 Apache ShardingSphere是多接入端共同组成的生态圈。 通过混合使用ShardingSphere-JDBC和ShardingSphere-Proxy,并采用同一注册中心统一配置分片策略,能够灵活的搭建适用于各种场景的应用系统,使得架构师更加自由地调整适合与当前业务的最佳系统架构。 功能列表: 1、数据分片 分库 & 分表 读写分离 分片策略定制化 无中心化分布式主键 2、分布式事务 标准化事务接口 XA 强一致事务 柔性事务 3、数据库治理 分布式治理 弹性伸缩 可观测性(分布式跟踪、指标度量) 数据加解密 影子表压测

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值