2018年07月_IT自学妹

原创【干货】国内大数据开发中比较受欢迎的几款工具

【大数据架构师免费报名课程】获取相关资料可以加我微信免费领取：mipi9461、zookeeper一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系统提供了高效可靠且易于使用的协同服务。2、HDFSHadoop...

2018-07-31 14:03:35 1224

原创一篇文章帮你建立自己的大数据知识体系！

现在大数据非常火爆，相信你一定看过不少关于大数据的书、文章、资讯，但基本上获取的都是零碎的知识点，不成系统，没有形成自己的知识体系，“看过很多知识点但依然搞不懂大数据”，然并卵。那么，今天这篇文章呢，就带大家从整体思路上，剖析大数据的产品设计架构和技术策略，帮助大家建立自己的大数据知识体系！大数据架构师免费课程链接，获取相关资料可以加我微信免费领取：mipi946大数据产品，从系统性和体系...

2018-07-30 14:37:14 560

原创用一个小故事告诉你什么叫做大数据

什么叫大数据某必胜客店的电话铃响了，客服人员拿起电话了解顾客需求。客服：您好，必胜客欢乐餐厅，请问您有什么需要？顾客：你好，我想要一份……客服：先生，烦请先把您的会员卡号告诉我。顾客：16894387***客服：陈先生，您好！您是住在广州南路一号10楼1005室，您家电话是2778***，您公司电话是4887***，您手机号是158****。请问您想用哪一个电话付费？...

2018-07-30 13:41:05 5220 1

原创 hadoop3.0新特性

1、概要1. 基于jdk1.8（最低版本要求） 2. mr采用基于内存的计算，提升性能（快spark 10倍） 3. hdfs 通过最近black块计算，加快数据获取速度(块大小：256M) 4. 支持多NameNode(实现了更加可靠的HA) 5. 引入EC纠删码技术(EC: Erasure Coding) 存储空间节省50% 6. 精简了内核 7．hadoop sh...

2018-07-29 10:29:35 1765

原创 Saprk作为大数据开发中不可获取的部分它还具有哪些功能呢

Spark是一个用于实时处理的开源集群计算框架。它拥有蓬勃发展的开源社区，是目前最活跃的Apache项目。 Spark提供了完整编程的接口，具有数据并行性和容错性。运行图那么作为大数据开发中不可或缺的部分，它还具有哪些功能呢？1、支持多种语言Spark提供Java，Scala，Python和R中的高级API .Spark代码可以用任何这些语言编写。它在Scala和Pytho...

2018-07-25 14:33:35 225

原创学习大数据开发应该了解的几个技能

1、Linux大数据集群主要建立在linux操作系统上，Linux是一套免费使用和自由传播的类Unix操作系统。而这部分的内容是大家在学习大数据中必须要学习的，只有学好Linux才能在工作中更加的得心应手。2、Hadoop我觉的大家听过大数据就一定会听过hadoop。Hadoop是一个能够对大量数据进行离线分布式处理的软件框架，运算时利用mapreduce对数据进行处理。在大数据中的用...

2018-07-24 10:15:22 1437 2

原创 java架构师如何使用Spring Boot2.x Actuator监控应用

开启监控<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-actuator</artifactId></dependency>默认端点Spring Boot 2.0 的Actuat...

2018-07-23 09:37:36 1585

原创 java架构师如何使用 MockMvc完成SpringBoot2.x单元测试

单元测试开发过程中单元测试是必不可少的，我们更要养成随手写配套测试用例的习惯这些随手写好的测试用例在前后端分离的微服务架构下对后期需求变动项目组件重构起到了重要的作用尤其是现在比较流行的敏捷开发、测试驱动等领域依赖引入首先，在Spring boot工程目录下会有/src/test/java的默认路径，供我们存放测试类Spring boot 2.x的脚手架也给我们提供了一个简...

2018-07-22 10:50:50 696

原创 java程序员进阶大数据必学之Hadoop 3 新特性和完全分布式搭建

作为世界时装设计和消费的“晴雨表，每年米兰时装周都会吸引世界各地的媒体和商家，一起研究时下潮流。最主要的是探讨未来趋势，争取抓住时代的脉搏，为自己的品牌注入新鲜的能量满足客户的审美需求。身为攻城狮的我们也需要打造自己的品牌。在这个技术爆炸的年代，技术就是我们赖以生存的根本。我们不仅要温故，更要知新。Hadoop从2006年诞生以来，一直是这个时代的宠儿，为众多一线企业提供了大数据存储和...

2018-07-22 10:03:24 276

原创优秀程序员应该具备的职场软技能

一名优秀的程序员在公司内，不仅需要优秀的敲代码的技能，还需要注重培养自己的软件能。敲代码作为职场的必备技能，是公司领导衡量一个员工的基本要求。那么什么是软技能呢？所谓的软技能就是一个人的职业素养、人际沟通能力、团队协作能力、思维及经验等等。如果说硬技能是衡量一个人能否在公司工作的标准，那么软技能就决定着你在公司中能走多块、走多远。下面我们就来看一下，一个优秀的程序员应该具备哪些软技能：...

2018-07-20 09:58:33 781

原创 java程序员提升必备大数据、架构师学习资料免费分享

大数据和架构师是很多java程序员工作2/3年后提升的首选方向，也是为数不多的学习方向。而且大数据正在被越来越多的国家和企业定位发展战略，尤其是我国在贵州设立了大数据产业园区，更是证明了大数据产业在未来光明的前景。想比大数据架构师让更多的让程序员认可是因为他的技术要求更高，薪资待遇更好，这也是为什么会有很大一部分程序员会选择架构师为自己的奋斗方向。作为大数据和架构师的学习者，有好的学习...

2018-07-17 13:34:21 633 2

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。需要大数据相关学习资料大家可以给小编留言获取哦，并且还有相关课程供大家...

2018-07-11 14:12:29 490

原创优效学院基于微服务的秒杀项目实战 Spring Boot 2.0基础篇01

1. 介绍主要解决的是在微服务的架构下简化配置（有快速配置）、前后端分离、快速开发优点：提供了快速启动入门开箱即用、提供默认配置内嵌容器化web项目没有冗余代码生成和xml配置要求2.运行Demo访问http://start.spring.io/生成下载demo.zipMaven本地源配置<mirrors><mirror><id>nexus-aliyun<...

2018-07-08 16:47:22 382

原创大数据学习资料、视频、PDF源码工具

大数据是目前互联网行业内最火的一部分，而且是很多开发工程师追求的一个大的方向。那么相对于我们想从事大数据开发工作而又没有学习方向的人来说应该怎么办呢？别急，小编为大家准备了大数据相关的学习资料，包括视频资料、PDF、源码工具包等等。需要的小伙伴可以直接加我qq免费领取，qq号：2189877100。...

2018-07-05 10:36:20 774

原创大数据学习思路分解之Linux及Hadoop学习

我们在上篇文章中大概的了解了大数据学习的一些思路(路线)，主要包括以下几点(Linux+hadoop+机器学习+流式计算+内存计算+云平台开发)，当然还有很多知识点，我们就以这个课程大纲来进行讲解学习。而在大数据开发中hadoop是最先学习的重点。为了让大家更加准确和快速的入门学习大数据，我们这篇文章就和大家介绍一下大数据Hadoop主要需要学习哪些方面的知识。注：此学习路线非零基础学习线路，要求...

2018-07-02 13:49:56 228

wshyb0314的博客