- 博客(8)
- 收藏
- 关注
RSS订阅原创 java Springboot热部署之后报错
springboot热部署之后运行出现问题：2019-10-29 11:33:23.472 ERROR 2924 — [ restartedMain] o.s.b.d.LoggingFailureAnalysisReporter :APPLICATION FAILED TO STARTDescription:Binding to target [Bindable@419f7b7a...
2019-10-29 11:39:57
1052
转载 Hbase优化实战
背景 Datastream一直以来在使用HBase分流日志，每天的数据量很大，日均大概在80亿条，10TB的数据。对于像Datastream这种数据量巨大、对写入要求非常高，并且没有复杂查询需求的日志系统来说，选用HBase作为其数据存储平台，无疑是一个非常不错的选择。 HBase是一个相对较复杂的分布式系统，并发写入的性能非常高。然而，分布式系统从结构上来讲，也相对较复杂，模块繁...
2018-11-23 16:39:38
176
翻译 员工部门表综合查询60题（带答案）
员工部门表综合查询60题(上)CREATE DATABASE oa;USE oa;CREATE TABLE dept(deptno INT PRIMARY KEY,dname VARCHAR(20),loc VARCHAR(20))DROP TABLE empCREATE TABLE emp(empno INT PRIMARY KEY,ename VARCHAR(20...
2018-11-22 15:59:22
17180
2
原创 Zookeeper的节点为什么是奇数个
Zookeeper介绍zookeeper是分布式协调服务，分布式应用程序可以基于他实现同步服务，配置维护，命名服务等；Zookeeper的节点为什么是奇数个（半数机制）首先应该明白zookeeper有这样一个特性：只有半数以上的节点正常集群才正常，zookeeper才会对外提供服务，举例：比如说原本有一个4个节点的zookeeper集群，根据以上zookeeper特性，最多只能允许...
2018-11-21 09:38:18
212
原创 Hadoop Yarn执行一个任务的流程
1.客户端client向ResourceManager提交Application，ResourceManager接受Application并根据集群资源使用情况选择一台node启动Application任务调度器driver2.ResourceManager找到那个node，令该node上的nodeManager启动一个新的JVM进程运行程序的driver（ApplicationMaster）...
2018-11-20 13:42:15
528
原创 Spark on Yarn 和Spark on Mesos
Spark on Yarn模式分布式部署集群，资源和任务监控交给yarn管理，但是目前仅支持粗粒度资源分配方式，包含了cluster和client运行模式，cluster适合生产，driver运行在集群子节点，具有容错功能，client适合调试，driver运行在客户端Spark on Mesos模式官方推荐这种模式（原因之一是血缘关系）。正是由于Spark开发之初就考虑到支持Meso...
2018-11-20 09:11:31
1332
翻译 大数据数据建模
今天给大家分享一下 数据开发工作中数据建模的步骤， 第一步：选择模型或者自定义模型这第一步需要我们基于业务问题，来决定我们需要选择哪种模型，目前市场中有很多模型可以供我们选择，比如，如果要预测产品销量，则可以选择数值预测模型（比如回归模型，时序预测……）；如果要预测员工是否离职，则可...
2018-11-19 18:08:54
5133
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人