- 博客(26)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Flink的时间类型和窗口概述，助你进阶Flink，畅游大数据时代
前言Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。而Flink中的时间类型和窗口是非常重要概念，也是学习Flink必须要掌握的两个知识点。今天我们就来探讨一下这两个知识点。Flink中的时间类型时间类型介绍Flink流式处理中支持不同类型的时间。分为以下几种：处理时间 Flink程序执行对应操作的系
2020-05-30 23:26:56
856
原创 史上最全的大数据技术栈，有种冲动学习的既视感，你是否感受到了自己的不足？
前言提起大数据，不得不提由IBM提出的关于大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），而对于大数据领域的从业人员的日常工作也与这5V密切相关。大数据技术在过去的几十年中取得非常迅速的发展，尤以Hadoop和Spark最为突出，已构建起庞大的技术生态体系圈。下面我们通过一张图来了解一下目前大数据领域常用的一些技术，当然大数据发展至今所涉及技术远不止这些。下面自底向上介绍各个层的主要项目。.
2020-05-30 21:13:43
6564
1
原创 大数据时代，听阿里P8为你解读20个大数据热词，助你尽情徜徉大数据时代
前言架构师按照专注领域不同，可分为企业架构师、基础结构架构师、特定技术架构和解决方案架构师等，专职架构师往往偏向基础结构架构师和特定技术架构师，专职架构师不负责具体的业务系统，而又对所有的系统负责，很少直接负责项目，但对项目要有提前把控，面对的是更大的团队和更大的问题域。想要成为专职架构师，就要明确专职架构师的职责，以下是专职架构师常见职责：职责一：全局的技术规划全局技术规划是专职架构师必须要做的工作，全局技术规划要能非常明确的指引整个团队在同一时间向同一个方向前进，这对架构师的心力和体力都
2020-05-30 16:10:41
848
原创 Python3.6、3.7、3.8新特性大集合，助你更新学习内存，高效进阶
前言很多人在学习了基本的Python语言知识后，就转入应用阶段了，没有对Python语言本身的新变化、新内容加以更新，甚至连已经发布了好几年的Python3.6的新特性都不甚了解，所以会感觉越来越吃力。今天我们列举了Python3.6、3.7、3.8三个版本的新特性，希望能对大家更好的应用Python有所帮助。一、Python3.6新特性1、Formatted字符串字面值Formatted字符串是带有’f’字符前缀的字符串，可以很方便的格式化字符串。>>> n
2020-05-30 15:40:35
3057
原创 大数据时代|阿里巴巴为何会战略选择Flink？你知道Flink的前世今生吗？一文带你深入剖析
前言2018年底发生了一件震惊大数据圈的事情，阿里巴巴以9000万欧元的价格收购了位于柏林的Data Artisans这家最牛逼的开源流引擎Flink背后的创业公司。在Hadoop生态圈，Flink是一个比Spark更新的引擎。Spark你肯定知道了，就是那个取代了MapReduce成为新一代数据处理引擎霸主的。但是你可能不知道，阿里巴巴内部已经全面用Flink取代了Spark。那么到底什么是Flink呢？阿里又为什么会选择Flink呢？Flink简介Flink 是一个针对流数据和.
2020-05-29 21:52:41
540
原创 学习Python的利器——从入门到项目实践，带你畅游Python开发
前言最近咱们一直在整理Python相关内容，小伙伴们反映也不错，也都领取了相应学习资料，真的希望能够帮到大家学习。今天，小编来为大家推荐一本学习Python的基础到实战书籍，希望大家能够喜欢。概述《Python从入门到项目实践》一书从入门学习者的角度出发，通过简洁有趣的语言、丰富多彩的实例、挑战大脑的任务、贴近开发实战的项目，循序渐进地让读者在实践中学习，在实践中提升实际开发能力。全书共分7篇:基础篇、进阶篇、高级篇、框架篇、游戏开发篇、人工智能开发篇和商业项目篇，内容包括:踏上Pytho
2020-05-29 20:42:11
2077
原创 未来已来！看人工智能的前世今生，以及未来发展方向，干货速来
前言人工智能（Artificial Intelligence，AI）是指计算机像人一样拥有智能能力，是一个融合计算机科学、统计学、脑神经学和社会科学的前沿综合学科，可以代替人类实现识别、认知，分析和决策等多种功能。如当你说一句话时，机器能够识别成文字，并理解你话的意思，进行分析和对话等。人工智能是未来发展的一个新方向，从金融服务至医疗保健，再到运输，未来各行各业都会使用到人工智能，这是21世纪又一次的革命性创新。AI发展史及关键里程碑AI 在五六十年代时正式提出，90 年代，国际象棋冠军
2020-05-29 19:05:37
1694
原创 史上最全MySQL索引详解，你想要的都在这里，吊打面试官
前言MySQL是一种开放源代码的关系型数据库管理系统，使用最常用的数据库管理语言——SQL进行数据库管理。MySQL是开放源代码的，因此任何人都可以下载并根据个性化的需求对其进行修改。MySQL因为其速度、可靠性和适应性而备受关注。大多数人都认为在不需要事务化处理的情况下，MySQL是管理内容最好的选择。今天，我们就来详解一下MySQL数据库的知识要点。PS:文章较长，建议收藏1.介绍为何要有索引? 一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问
2020-05-28 23:03:48
854
原创 大数据时代||还不懂Hadoop？阿里P8带你深入剖析Hadoop原理及架构
前言当今世界，科学技术飞速发展，人们不知不觉的进入了大数据时代。而什么是大数据时代，大数据的发展是什么？这一系列的问题其实很抽象，很难一言半语的概括。但是，在这大数据时代，必须掌握相应的技术作为支撑，而Hadoop就是其中的核心架构。什么是HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储而作为一个开源框架，可编写和运行分布式应用处理大规模数据。Hadoop的框架最核.
2020-05-28 20:49:54
415
原创 Python教程，函数的返回值和作用域，助你学以致用，一步起飞
前言Python函数的学习内容，咱们更新了很多，今天我们继续带来Python函数的返回值和作用域，深化大家的函数理解，如果有什么不准确的地方，请大佬批评指正，咱们共同进步。Python函数的返回值1.return语句函数返回值的定义：函数里面的return语句 + 值，表示函数的返回值，可以在调用函数之后通过变量进行接收。不带参数值的return语句返回None。举例，自定义一个相加函数，返回最后的值：def add_plus(a,b): '''添加 ''' c =..
2020-05-28 18:55:16
1004
原创 Python数据结构大合集|元祖、列表、字典和集合详解，助你简明扼要学Python
python中的数据结构主要有：列表 List元组tuple字典 dict集合set1.列表List列表是最常用的Python数据类型，列表的数据项不需要具有相同的类型。列表中的每个元素都分配一个数字 - 它的位置，或索引，第一个索引是0，第二个索引是1，依此类推。对列表的操作：创建列表list1 = ['physics', 'chemistry', 1997, 2000] list2 = [1, 2, 3, 4, 5 ] list3 = ["a", "b",.
2020-05-27 15:40:39
764
1
原创 Hadoop难不难？清华大佬花费28小时终于讲完，总计7.7个G，助你轻松掌握不迷茫
Hadoop是什么？Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的
2020-05-26 20:19:45
1012
原创 清华大佬讲的Python基础——循环语句的运用，果然深入浅出
前言今天咱们来介绍一些干货：Python基础的循环语句，由清华大佬整理，希望能帮到大家更好的学习哦~~~一、for循环for循环可以用来遍历某一对象（遍历：通俗点说，就是把这个循环中的第一个元素到最后一个二元素以此访问一遍）。1、for循环使用情景我们想要某个操作重复执行且循环次数已知是可以使用for循环； 所有否循环均可以用while实现。2、语法格式for i in 一组值： #一组值可以是除数字以外的基本类型 要执行的操作3、for循...
2020-05-26 18:55:08
4281
6
原创 大数据时代|Hadoop和Spark，那些你不得不知道的关系与区别，助你尽情徜徉智能时代
前言一提到大数据，人们就会想到Hadoop，然而，最近又有个Spark似乎成了后起之秀，也变得很火，似乎比Hadoop更具优势，更有前景。那么这两种相爱相杀的技术，又存在什么区别和联系呢？Spark是什么？Spark是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Stream.
2020-05-26 15:53:50
739
原创 你知道Kafka和Redis的各自优缺点吗？一文带你优化选择，不走弯路
前言大数据技术相辅相成，没有任何一种技术是没有缺点，孤立发展的。昨天咱们整理了大数据计算引擎Spark和Flink的区别联系，大家反响还不错，今天咱们再来分析下Kafka和Redis的对比，看分布式发布订阅都有什么各自的优势与缺点。Redis是什么Redis 是开源免费的，遵守BSD协议，是一个高性能的key-value非关系型数据库。可能有朋友会问，Redis作为存储数据库，怎么和分布式发布订阅消息系统Kafka对比？两者本身不是同一个层次的东西啊。但是Redis中有一个queue的数
2020-05-25 23:36:43
4557
4
原创 Java简介和各个知识要点大解析，一文带你初步了解，让兴趣带你深入学习
目录Java简介 Java语言基础组成 面向对象 对象 封装 构造函数 this关键字 static（静态关键字） 主函数 静态什么时候用呢？ 面向对象（数组工具对象建立） 设计模式 继承 成员变量 子父类中成员函数特点 子父类中的构造函数——子类的实例化过程 一个对象实例化过程 final关键字：继承的弊端：打破了封装性； 抽象类 接口 多态 内部类：类定义在类中Java简介一、语言特征Java编程语言的风格十分接近C
2020-05-25 23:03:11
516
原创 清华大佬用了6小时讲完的Python，757M,拿走不谢
前言系统管理员每天都会面临许多繁杂而琐碎的工作，这些工作往往需要耗费大量的时间和精力，令许多系统管理员疲于应对。Python的出现为系统管理员带来了希望。为什么呢？Python特点易于学习：Python有相对较少的关键字，结构简单，和一个明确定义的语法，学习起来更加简单。 易于阅读：Python代码定义的更清晰。 易于维护：Python的成功在于它的源代码是相当容易维护的。 一个广泛的标准库：Python的最大的优势之一是丰富的库，跨平台的，在UNIX，Windows和Macintos
2020-05-25 18:23:41
905
4
原创 浅析函数式编程，Java、Scala和Python各自的实现方式
函数式编程（Functional Programming）是一种编程风格，它是相对于指令式编程风格而言的，常见的面向对象编程就是指令式编程风格。指令式编程是面向计算机硬件的抽象，有变量（对应着存储单元），赋值语句（获取、存储指令），表达式（内存引用和算术运算）和控制语句（跳转语句）。而函数式编程是面向数学的抽象，将计算描述为一种表达式求值。这里的函数实际就是数学中的函数，即自变量到因变量的映射。也就是说，一个函数的值仅决定于函数参数的值，不依赖其他状态。函数式编程是一种抽象程度很高的编程范式..
2020-05-23 20:08:31
1083
原创 你知道Python装饰器怎么编写运行吗？进阶的干货来了，快准备收下
前言Python语言有一个比较Pythonic的功能，也是一个具有很强大功能的特性，那就是装饰器。那什么是装饰器呢？顾名思义，装饰器就是用来修饰某个函数，在不改变原来方法代码的前提下，额外的附加其他的功能和属性。可能这样说得比较抽象，下面我们通过代码实现的方式演示如何编写装饰器，以及装饰器是如何执行的。原理装饰器本质也是一个函数, 只不过这个函数需要遵循以下规则:入参只能有一个，类型为函数。 被装饰的函数将入会被传入这个参数 返回值是必须是一个函数, 届时被调用的时候实际上调用的是返回出来
2020-05-22 23:04:06
208
原创 最新版Python入门大合集——干货满满，保证让你收获多多
前言Python相对来说是简单易学的，但是如果不得要领，可能就会走很多弯路。今天，我们来介绍的干货内容，就是基础入门套餐，如果你感觉没问题了，好的，恭喜你，已经达成阶段目标；如果感觉还似曾相识，那么你可能需要更加系统的学习 。好的，话不多说，先上一张学习思维导图，各位大佬感受一下。Python变量和数据类型数据类型print语句注释Python的注释以 # 开头，后面的文字直到行尾都算注释# 这一行全部都是注释...print 'hello' # 这也是注释什么
2020-05-21 21:53:21
243
原创 大数据时代|Zookeeper分布式集群搭建，和你的认知是否一致
前言Zookeeper是什么？官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。文中Zookeeper分布式集群搭建在Linux CentOS7系统之上。搭建大数据分布式集群，不建议使用root用户直接操作，故文中使用bigdata用户进行集群的搭建。一、环境准备软件 版本 Linux系统 Cen
2020-05-20 23:26:29
211
原创 大数据时代|核心架构Hadoop入门学习之HDFS，循序渐进求真知
前言当今世界，科学技术飞速发展，人们不知不觉的进入了大数据时代。而什么是大数据时代，大数据的发展是什么？这一系列的问题其实很抽象，很难一言半语的概括。但是，在这大数据时代，必须掌握相应的技术作为支撑，而Hadoop就是其中的核心架构。【hadoop概述】一、hadoop是什么？ Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储而作为一个开源框架，可编写和运行分布式应用处...
2020-05-20 19:42:45
284
原创 详解Python的面向对象，助你深入浅出的学习，颠覆你的认知
一、编程范式 1、定义：简单说就是程序员为了解决一系列编程问题而使用的编程套路，比如面向过程式编程，面向对象式编程，函数式编程，都属于编程范式。 2、面向过程编程：为计算机执行流程定义了一系列的函数，计算机将顺序执行完成任务。优点：便捷、快速完成编程任务 缺点：维护困难，改一处，别的依赖的代码也需要更改。 使用场景：适合在今后工作中无需更改的地方使用，比如数据库连接，如果公司以后也没有用oracle，只用mysql数据库，那么这里就可以用面向过程式编程。 3、面向对象编程（OOP..
2020-05-19 01:14:08
290
原创 运用Python函数如何进行重载？一文带你深入解析，原来如此简单
什么是函数重载？简单的理解，支持多个同名函数的定义，只是参数的个数或者类型不同，在调用的时候，解释器会根据参数的个数或者类型，调用相应的函数。重载这个特性在很多语言中都有实现，比如 C++、Java 等，而 Python 并不支持。这篇文章呢，通过一些小技巧，可以让 Python 支持类似的功能。参数个数不同的情形先看看这种情况下 C++ 是怎么实现重载的#include <iostream>using namespace std;int func(int a){ c
2020-05-19 00:33:17
933
2
原创 Python数据分析库：Numpy和Matplotlib的学习笔记
Numpy定义：NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。它主要用于数组计算，包括：一个强大的N维数组对象ndarray 广播功能函数 整合C/C++/Fortran 代码的工具 线性代数、傅里叶变换、随机数生成等功能1、ndarray : ndarray是一系列同类型数据的集合，以0 下标为开始进行集合中元素的索引。创建一个 ndarray只需调用 NumPy 的 a...
2020-05-18 22:54:25
717
原创 “新基建”趋势下，大数据如何成为发展支点
近期，国家决策层强调“新基建”，与之前的4万亿投资不同，“新基建”立足于高新科技。大数据中心作为七大方向之一，为经济高质量发展提供坚实的“数字底座”。2018年底召开的中央经济工作会议指出，加快5G商用步伐，加强人工智能、工业互联网、物联网等新型基础设施建设，“新基建”概念由此诞生。2019年以来，“新基建”一词频频出现在各地政府工作报告，并落实到操作层面。2020年3月4日，中共中央政治局常务委员会强调，加快5G网络、数据中心等新型基础设施建设进度，要注重调动民间投资积极性。相较于2008年4万亿
2020-05-16 21:12:39
643
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人