- 博客(16)
- 收藏
- 关注
RSS订阅原创 Spring Boot 2.0 新特性（二）：新增事件ApplicationStartedEvent
今天继续来聊Spring Boot 2.0的新特性。本文将具体说说2.0版本中的事件模型，尤其是新增的事件：ApplicationStartedEvent。如果你想了解大数据的学习路线，想学习大数据知识以及需要免费的学习资料可以加群：784789432.欢迎你的加入。每天下午三点开直播分享基础知识，晚上20:00都会开直播给大家分享大数据项目实战。在Spring Boot 2.0中对事件模型做了一...
2018-06-15 21:06:36
291
原创 Spring Boot 2.0 新特性（一）：配置绑定 2.0 全解析
在Spring Boot 2.0中推出了Relaxed Binding 2.0，对原有的属性绑定功能做了非常多的改进以帮助我们更容易的在Spring应用中加载和读取配置信息。下面本文就来说说Spring Boot 2.0中对配置的改进。如果你想了解大数据的学习路线，想学习大数据知识以及需要免费的学习资料可以加群：784789432.欢迎你的加入。每天下午三点开直播分享基础知识，晚上20:00都会开...
2018-06-15 21:04:52
366
原创 Spring Boot和Feign中使用Java 8时间日期API（LocalDate等）的序列化问题
LocalDate、LocalTime、LocalDateTime是Java 8开始提供的时间日期API，主要用来优化Java 8以前对于时间日期的处理操作。然而，我们在使用Spring Boot或使用Spring Cloud Feign的时候，往往会发现使用请求参数或返回结果中有LocalDate、LocalTime、LocalDateTime的时候会发生各种问题。本文我们就来说说这种情况下出现...
2018-06-15 21:02:54
381
原创 Kafka: LogManager
进入Kafka的数据，都被作为日志存储到磁盘上了，并能够在磁盘上保留一段时间，最后被清理。其中，每一个分区的日志，还具备有日志轮转功能，这个设计类似于Log4j等日志系统。此外，kafka号称性能极好，它有disk io操作，查询性能居然也很好，它是怎么做到的呢? 想了解大数据的学习路线，想学习大数据知识以及需要免费的学习资料可以加群：784789432.欢迎你的加入。每天下午三...
2018-06-15 20:31:01
293
原创 Hadoop生态新增列式存储系统Kudu
Hadoop生态系统发展到现在，存储层主要由HDFS和HBase两个系统把持着，一直没有太大突破。在追求高吞吐的批处理场景下，我们选用HDFS，在追求低延迟，有随机读写需求的场景下，我们选用HBase，那么是否存在一种系统，能结合两个系统优点，同时支持高吞吐率和低延迟呢？有人尝试修改HBase内核构造这样的系统，即保留HBase的数据模型，而将其底层存储部分改为纯列式存储（目前HBase只能算是列...
2018-06-14 16:13:13
279
原创 HBase从入门到精通系列：误删数据如何抢救？
有时候我们操作数据库的时候不小心误删数据，这时候如何找回？mysql里有binlog可以帮助我们恢复数据，但是没有开binlog也没有备份就尴尬了。如果是HBase，你没有做备份误删了又如何恢复呢？数据保护当误删数据发生时候，不管三七二十一，第一要务是进入hbase shell，执行如下命令：如果误删一张表的有多个family里的数据，需要都执行一下：alter 'tt', { NAME =>...
2018-06-12 17:32:33
68
原创 大数据存储平台之异构存储实践深度解读
经常做数据处理的伙伴们肯定会有这样一种体会：最近一周内的数据会被经常使用到，而比如最近几周的数据使用率会有下降，每周仅仅被访问几次;在比如3月以前的数据使用率会大幅下滑，存储的数据可能一个月才被访问几次。这就产生了一种热和冷数据，对需要频繁访问的数据我们称之为“热”数据，反之我们称之为”冷”数据，而处于中间的数据我们称之为”温”数据。如果你想了解大数据的学习路线，想学习大数据知识以及需要免费的学习...
2018-06-10 18:37:33
325
原创 当大数据满足数据可视化时，如何使数据变得可操作
如今，数据科学家可以使用数据可视化来使他们的信息更具可操作性插图、图表、图表和电子表格可以把枯燥的报告变成有启发性的内容，更容易收集洞察力和可操作的结果。幸运的是，现代技术(从笔记本电脑到智能手机)拥有各种可用应用程序，使可视化变得前所未有的简单。因此，社会越来越熟悉数据可视化及其对数据分析和可操作性的有益影响。描述各种数据的最佳方法分析的力量很大程度上取决于数据的呈现。数据可视化的最佳形式提供了...
2018-06-06 07:24:24
185
原创 大数据分析系统Hadoop的13个开源工具
Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却...
2018-06-05 16:26:29
145
原创 Hive数据仓库与企业级优化
一 数据仓库1 什么是数据仓库数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。2 数据仓库能干什么？1）年度销售目标的指定，需要根据以往的历史报表进行决策，不能拍脑袋。2）如何优化业务流程例...
2018-06-04 15:28:25
398
原创 想学大数据？大数据处理的开源框架推荐
本文讨论大数据处理生态系统和相关的架构栈，包括对适应于不同任务的多种框架特性的调研。除此之外，文章还从多个层次对框架进行深入研究，如存储，资源管理，数据处理，查询和机器学习。如果你想了解大数据的学习路线，想学习大数据知识以及需要免费的学习资料可以加群：784789432.欢迎你的加入。使用门槛的降低是互联网上数据最初增长的驱动力。随着智能手机和平板电脑等一系列新...
2018-06-02 18:56:58
338
1
原创 Kafka基于topic的分区设计
1.若没有分区，一个topic对应的消息集在分布式集群服务组中，就会分布不均匀，即可能导致某台服务器A记录当前topic的消息集很多，若此topic的消息压力很大的情况下，服务器A就可能导致压力很大，吞吐也容易导致瓶颈。有了分区后，假设一个topic可能分为10个分区，kafka内部会根据一定的算法把10分区尽可能均匀分布到不同的服务器上，比如：A服务器负责topic的分区1，B服务器负责topi...
2018-05-30 22:28:58
77
原创 C语言编程练习 GPS数据处理
题目内容：NMEA-0183协议是为了在不同的GPS（全球定位系统）导航设备中建立统一的BTCM（海事无线电技术委员会）标准，由美国国家海洋电子协会（NMEA-The National Marine Electronics Associa-tion）制定的一套通讯协议。GPS接收机根据NMEA-0183协议的标准规范，将位置、速度等信息通过串口传送到PC机、PDA等设备。 NMEA-0183协议是...
2018-05-30 22:11:50
200
原创 大数据Hadoop的HA高可用架构集群部署
1 概述在Hadoop 2.0.0之前，一个Hadoop集群只有一个NameNode，那么NameNode就会存在单点故障的问题，幸运的是Hadoop 2.0.0之后解决了这个问题，即支持NameNode的HA高可用，NameNode的高可用是通过集群中冗余两个NameNode，并且这两个NameNode分别部署到不同的服务器中，其中一个NameNode处于Active状态，另外一个处于Stand...
2018-05-24 19:54:57
589
原创 “C++程序设计”领域本体构建研究*
【摘要】根据教学规律和教学系统化设计理论，提出一种适用于教学领域的本体构建方法——ISD 本体构建方法。该方法系统性强，融合学科教学特点。使用该方法成功构建了“C++程序设计”双语课程资源本体库，解决了实际知识向形式化编码的转化等问题，使本体的重用成为可能。【关键词】课程教学；领域本体；构建方法；C++程序设计引言 为了能帮助学习C/C++的伙伴，博主推荐一个学习交流qun 710 -520-...
2018-05-14 21:10:52
729
转载 C/C++静态代码安全检查工具
静态代码安全检查工具是一种能够帮助程序员自动检测出源程序中是否存在安全缺陷的软件。它通过逐行分析程序的源代码，发现软件中潜在的安全漏洞。本文针对 C/C++语言程序设计中容易存在的多种安全问题，分别分析了问题的根源，给出了具体可行的分析及检测方法。最后通过对静态代码安全检查工具优缺点的比较，给出了一些提高安全检查效果的建议。 软件漏洞的出现，除了程序员缺少编写高质量安全程序的意...
2018-05-08 18:31:14
1714
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人