- 博客(12)
- 收藏
- 关注
RSS订阅原创 绝了!!!Dataway让SpringBoot不在需要Controller、Service、DAO等了
Dataway介绍Dataway 是基于 DataQL 服务聚合能力，为应用提供的一个接口配置工具。使得使用者无需开发任何代码就配置一个满足需求的接口。整个接口配置、测试、冒烟、发布。一站式都通过 Dataway 提供的 UI 界面完成。UI 会以 Jar 包方式提供并集成到应用中并和应用共享同一个 http 端口，应用无需单独为 Dataway 开辟新的管理端口。这种内嵌集成方式模式的优点是，可以使得大部分老项目都可以在无侵入的情况下直接应用 Dataway。进而改进老项目的迭代效率，大大减少企业项
2020-05-30 19:09:27
255
原创 不会看 Explain执行计划，以及SQL优化？？
正文在面试简历中，如果您的技能里面写道：熟悉SQL语句调优，那必然会问到 Explain 执行计划怎么看？到底Explain有什么用？？当Explain 与 SQL语句一起使用时，MySQL 会显示来自优化器关于SQL执行的信息。也就是说，MySQL解释了它将如何处理该语句，包括如何连接表以及什么顺序连接表等。表的加载顺序**sql** 的查询类型可能用到哪些索引，哪些索引又被实际使用表与表之间的引用关系一个表中有多少行被优化器查询 .....Explain有哪些信息Explain
2020-05-28 16:52:36
194
原创 Spring boot启动报错的解决方案-1
报错内容如下:java.lang.IllegalStateException: Failed to load ApplicationContext at org.springframework.test.context.cache.DefaultCacheAwareContextLoaderDelegate.loadContext(DefaultCacheAwareContextLoaderDelegate.java:124) at org.springframework.test.context
2020-05-23 21:50:35
392
原创 hive中的with…as
with…as子查询部分。就是查询出一部分数据保存在一个临时表temp表中使用最普通的嵌套查询部分select * from table_b where id in (select id from table_a where Name like 'C%')这时候进行优化，如果嵌套过多的话，就很难阅读，建议使用变量来解决这个问题declare @t table(id nvarchar(3))insert into @t(id) (select id from table_
2020-05-15 15:54:23
1096
原创 Spark之综合性练习(Spark，Kafka，Spark Streaming，MySQL)
**文章目录题目答案<1> 创建Topic<2> 读取文件，并对数据做过滤并输出到新文件<3> 读取新文件，将数据按照题意发送到Kafka的不同分区<4> 先在数据库中创建好接收数据需要用到的表<5> 使用Spark Streaming对接kafka之后进行计算结语**题目以下是RNG S8 8强赛失败后，官微发表道...
2020-04-27 22:16:27
204
原创 hive--分组排序函数
分组排序最主要的区别就是如果两个分数相同，排名是否同列以及排名是否相同。这个方法仅在mysql8.0以后，hive或其他数据库支持直接看图：原始表原表如上，想要的结果如下从图中可以发现：row_number函数：如果并列但名次反而不相同，但是后续的名次是连续的rank函数：如果并列则名次相同，但是后续的名次会不连续dense_rank函数：如果并列则名次相同，但是后续的名次...
2020-04-27 21:18:52
1618
原创 HDFS读写底层源码
一、HDFS 客户端读文件流程1、打开HDFS文件： HDFS客户端首先调用DistributedFileSystem.open方法打开HDFS文件，底层会调用ClientProtocal.open方法，返回一个用于读取的HdfsDataInputStream对象2、从NameNode获取DataNode地址：在构造DFSInputStream的时候，对调用ClientPortocal.ge...
2020-04-27 20:47:55
471
原创 hive—面试题(1)
假设现在有100W数据放在hive的这一张内部分区表table1，平均分配到了十个分区，假设有个工作人员不小心删掉了一个hdfs文件夹（hadoop fs rm -r, 分区表的一个分区文件夹），请问select count(1) from table1的执行结果。A 90W B 100W C 其他情况，请具体说明???自己电脑上有虚拟机集群的， 可以亲测一下哦！！！...
2020-04-27 20:37:04
194
原创 Hadoop--之--RPC（远程过程调用）与HTTP的区别
#Hadoop相关RPC（远程过程调用）与HTTP的区别：最主要的区别：OSI网络7层模型RPC组件HTTP服务：总结：RPC（远程过程调用）与HTTP的区别：最主要的区别：RPC是基于TCP/IP协议的HTTP服务是基于HTTP协议的因为http协议是在传输层协议TCP之上的，所有效率上TCP也就是RPC会高一点。OSI网络7层模型第一层：应用层。定义了用于在网络中进行...
2020-04-27 18:58:55
772
华为GaussDB(DWS)最佳实践系列之集群操作类.md
2024-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人