- 博客(10)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 《离线和实时大数据开发实战》（二）大数据平台架构 & 技术概览
什么是数据平台呢？或者更时髦点，什么是大数据平台呢？目前业界并没有对数据平台的精确定义，但通常所说的数据平台主要包含以下三部分：数据相关的工具、产品和技术：比如批量数据采集传输的 Sqoop 、离线数据处理 Hadoop 和 Hive 、实时流处理的 Storm、Spark 以及数据分析的 R 等；数据资产：不仅包含公司业务本身产生和沉淀的数据，还包括公司运作产生的数（如财务、行政），以及从外界购买、交换或者爬虫等而来的数据等；数据管理：有了数据工具，也有了数据资产，但是还必须对它们进行管理才
2020-09-27 23:57:03
4218
47
原创 《离线和实时大数据开发实战》（一）构建大数据开发知识体系图谱
前言通过阅读本书，大家能建立自己的大数据开发知识体系和图谱，掌握数据开发的各种技术（包括有关概念 原理、架构以及实际的开发和优化技巧等），并能对实际项目中的数据开发提供指导和参考，个人觉得邦中老师的这本书还是有很精彩的，值得一读 ( •̀ ω •́ )✧接下来，我会从离线数据处理技术、实时数据处理技术、数据开发优化、大数据建模、数据分层体系建设等角度进行总结学习。第一篇：数据大图和数据平台大图数据大图主要是从数据整体角度，结合数据从采集到消费的四大流程，对相关的数据技术进行介绍和刻画。数据
2020-09-21 22:10:58
1909
40
原创 JVM 从入门到精通（六）JVM运行时数据区——虚拟机栈
由于跨平台性的设计，Java的指令都是根据栈来设计的。不同平台CPU架构不同，所以不能设计为基于寄存器的。根据栈设计的优点是跨平台，指令集小，编译器容易实现，缺点是性能下降，实现同样的功能需要更多的指令。
2020-09-20 23:54:08
970
27
原创 【Kafka】（二十四）轻量级流计算 Kafka Streams 实践总结
文章目录一、概述1.1 Kafka Streams1.2 Kafka Streams 特点1.3 为什么要有 Kafka Streams一、概述1.1 Kafka StreamsKafka Streams。Apache Kafka 开源项目的一个组成部分。是一个功能强大，易于使用的 库。用于在 Kafka 上构建高可分布式、拓展性，容错的应用程序。1.2 Kafka Streams 特点1. 功能强大高扩展性，弹性，容错2. 轻量级无需专门的集群一个库，而不是框架3. 完全集成
2020-09-15 11:39:25
811
24
原创 【MySQL】（十三）浅谈 MySQL 索引优化分析
写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句 [ 云之祁祁，或雨于渊 ] ，甚是喜欢。写博客一方面是对自己学习的一点点总结及记录，另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发 感兴趣，可以关注我的动态 https://blog.csdn.net/BeiisBei ，让我们一起挖掘数据的价值~每天都要进步一点点，生命不是要超越别人，而是要超越自己！ (ง •_•)ง.
2020-09-11 17:25:17
365
24
原创 【Flume】（六）Flume 开发实战案例分享
文章目录一、监控端口数据官方案例1.1 案例需求：1.2 需求分析：1.3 实现步骤：1．安装 telnet 工具2．判断 44444 端口是否被占用3．创建 Flume Agent 配置文件 flume-telnet-logger.conf4．先开启 flume 监听端口5．使用 telnet 工具向本机的 44444 端口发送内容6．在 Flume 监听页面观察接收数据情况二、实时读取本地文件到HDFS案例2.1 案例需求：2.2 需求分析：2.3 实现步骤：1．Flume 要想将数据输出到 HDFS，
2020-09-08 15:41:31
615
21
转载 云计算之概念——IaaS、SaaS、PaaS、Daas
文章目录一、前言二、IaaS三、PaaS四、SaaS五、DaaS一、前言云计算通俗来说就是输入/输出和计算不在一个主机上。计算要用到计算设备，计算设备一般是指CPU、内存和硬盘，输入/输出设备一般是指键盘、鼠标、显示器、耳机、音响、话筒等外设。而我们的个人计算机是使用主板将这些东西连接到一起来协调工作。一个软件在执行以完成某项任务的时候，如果用到的计算设备和输入/输出设备不是通过主板连接，而是通过网络连接，那么这个过程就叫云计算。举几个例子来说明一下：1、我远程到客户电脑给客户处理问题，输入/输
2020-09-07 19:25:04
1075
转载 Postgresql之split_part()切割函数
一、前言数据库表字段有一个格式是：1|2|3.以竖线分割的，现在想取其中的第2个，pg提供这样的函数，记录如下，以下是我的SQL。二、代码SELECT COUNT (*) AS "count", split_part(tree_t.node_path, '|', 2) AS "id", name_t.node_name
2020-09-07 16:09:51
15696
转载 建设中台：难点是技术问题？不！其实是认知问题
前言随着企业的快速发展，在规模不断扩大的同时业务逐渐变的多元化，有更多的业务数据产生，为企业进一步实现业务数据化和数据业务化提供了更多的可能性。但是，由于各种历史原因，导致企业数据烟囱林...
2020-09-03 18:05:47
1415
2
阿里云云计算ACP.xmind
2020-05-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人