大数据
码农的世界,你不懂
这个作者很懒,什么都没留下…
展开
-
大数据学习路线图
一、入门准备1、linux操作基础1) Linux的介绍,Linux的安装:VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程2) Linux的常用命令:常用命令的介绍、常用命令的使用和练习(文件操作、用户管理与权限、免密登陆配置与网络管理)3) Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用;4) Linux启动...原创 2019-12-03 14:15:14 · 238 阅读 · 1 评论 -
为什么学习大数据?
因为大数据爆发,因此出现了大数据开发、大数据分析这两大主流的工作方向,目前这两个方向是很热门,不少人已经在开始转型往这两个方向发展,相较而言,转向大数据分析的人才更多一点,而同时也有不少人在观望中,这边小编收集了十个为什么要学习大数据分析的十个理由。下面我们一起来看看大数据专家写给大数据分析学习者的10个理由分享之前我还是要推荐下我自己创建的大数据分析分享群716581014,这...原创 2019-11-28 14:23:38 · 400 阅读 · 0 评论 -
大数据基础加强阶段2之ZooKeeper shell
客户端连接运行 zkCli.sh –server ip 进入命令行工具。 输入 help,输出 zk shell 提示:2.2 .shell基本操作创建节点create [-s] [-e] path data acl其中,-s 或-e 分别指定节点特性,顺序或临时节点,若不指定,则表示持久节点;acl 用来进行权限控制。...原创 2019-11-20 10:37:12 · 100 阅读 · 0 评论 -
如何拯救k8s镜像分发的阿喀琉斯之踵
K8s的出现为PaaS行业的发展打了一针兴奋剂,Docker+k8s的技术路线已经成为了容器云的主流。尤其针对大流量,大弹性的应用场景来说,k8s将其从繁杂的运维、部署工作中彻底拯救出来。然而事情往往没有那么简单而美好,当我们使用k8s去管理一些大规模集群的时候,我们会发现有很多问题等待我们解决。比如,当集群中的所有节点同时去镜像仓库拉取镜像的时候,这种大规模并发很有可能阻塞仓库的出口,导致大家的...原创 2019-11-08 11:34:00 · 155 阅读 · 0 评论 -
元组和字典
一.元组tuple 元组不可变类型 在()内用逗号 a=(1,2,3,) print(type(a)) a=(1,2,3,(1,2,)) print((1,2) in (a))二.字典(可变) key是不可变类型,字符串最好 dic1={} li = (("name","wz"),("age","18"),("sex","m...原创 2019-11-05 15:09:39 · 103 阅读 · 0 评论 -
大数据处理框架Flink介绍
介绍概述 Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架,它基于同一个Flink流式执行模型(streaming execution model),能够支持流处理和批处理两种应用类型。由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同, 流处理一般需要支持低延迟、Exactly-once保证,而批处理需要支持高吞吐、高效处理,所以...原创 2019-11-05 14:39:32 · 325 阅读 · 0 评论 -
什么是实时流式计算?
实时流式计算,也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。实时流式计算,或者是实时计算,流式计算,在大数据领域都是差不多的概念。那么,到底什么是实时流式计算呢?谷歌大神Tyler Akidau在《the-world-beyond-batch-streaming-101》一文中提到过实时流式计算的三个特征:1、无...原创 2019-10-29 14:13:29 · 117 阅读 · 0 评论 -
Kafka 2.3 Producer (0.9以后版本适用)
kafka0.9版本以后用java重新编写了producer,废除了原来scala编写的版本。这里直接使用最新2.3版本,0.9以后的版本都适用。注意引用的包为:org.apache.kafka.clients.producerimport java.util.Properties;import org.apache.kafka.clients.producer.KafkaProduc...原创 2019-10-28 15:28:53 · 84 阅读 · 0 评论