大数据架构 序：关于这本书

最新推荐文章于 2024-09-04 20:48:11 发布
最新推荐文章于 2024-09-04 20:48:11 发布
阅读量45 收藏
点赞数
分类专栏： 大数据架构 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oolong0616/article/details/117297020
版权
作者分享了自己近十年的数据行业经验，从早期的Oracle+Informatica+BOXI，经历南大通用的GBaseBI产品，到如今的大数据领域。尽管感觉似乎已通晓一切，但仍觉得学无止境，决定记录所学，以此为自己的学习历程作结。
摘要由CSDN通过智能技术生成

序1：关于这本书

屈指一算，进入数据这个行当也快十年了

从最早的Oracle+Informatica+BO XI

到后来南大通用的GBaseBI产品

再到现在的大数据

好像什么都明白了，又好像什么都没学

趁着还没老年痴呆 😁

把自己的理解记下来吧，也算是给自己学习的一个交代

岑晨

2021年初夏

于南京

oolong0616
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据架构 序2 ：写书的准备
oolong0616的博客
05-26 62
干IT的人有个通病，找合适的软件的时间，远比干活的时间长的多????，在找软件的过程中，兴奋点就不知道飞到哪里去了???? 好在这次时间没花费太久，万幸万幸。
《大数据系统构建：可扩展实时数据系统构建原理与最佳实践》一导读
weixin_34114823的博客
05-02 157
前　　言当第一次进入大数据的世界时,我仿佛置身于软件开发的美国西部荒原。许多人放弃了关系型数据库，转而选择带有高度受限模型的NoSQL数据库，主要是因为其使用体验良好、熟悉度较高且这种数据库可以扩展到成千上万台机器上。NoSQL数据库的数量巨大，堪称铺天盖地，这些数据库中很多都只有细微的差别。一个名为“Hadoop”的新项目开始崭露头角,它宣称具...
《从程序员到架构师》：从现在开始培养架构思维，一点都不晚
一个专注于嵌入式IoT领域的架构师，深耕IoT领域多年，深度掌握IoT领域的相关技术栈，包括但不限于RTOS内核的实现及其移植、硬件驱动移植开发、网络通讯协议开发、编译构建原理及其实现、底层汇编及编译原理、编译优化及代码重构、嵌入式IoT系统的架构设计等。
10-13 8435
尽管大家都明白软件架构非常重要，但是能够真正理解并应用软件架构的核心思维去解决实战的商业项目，确实大多数程序员所欠缺的。本文将从一个全新的视角，重新带领大家了解下程序员到架构师的进阶以及软件架构的设计方法，希望能给读者朋友一些思考和启发。
《大数据管理：数据集成的技术、方法与最佳实践》
weixin_30755393的博客
07-07 720
《大数据管理：数据集成的技术、方法与最佳实践》 基本信息 原书名：Managing Data in Motion: Data Integration Best Practice Techniques and Technologies 原出版社： Morgan Kaufmann 作者： (美)April Reeve 译者： 余水清 潘黎萍 丛书名： 大数据技术丛书 出版社：机械工...
架构篇：什么才是真正的架构设计？
架构师小秘圈
02-15 371
一. 什么是架构和架构本质在软件行业，对于什么是架构，都有很多的争论，每个人都有自己的理解。此君说的架构和彼君理解的架构未必是一回事。因此我们在讨论架构之前，我们先讨论架构的概念定义，概念...
Spark邂逅大数据
Java 技术专栏，从入门到精通，熟悉企业级开发
11-09 1万+
Spark基于内存计算，整合了内存计算单元，提高了大数据处理的实时性。它兼具高容错性和可伸缩性，因此相对于Hadoop的集群处理方法，Spark在性能方面更具优势。从另一角度看，Spark可被看作MapReduce的一种扩展。在计算的各个阶段，MapReduce无法进行有效的资源共享，因此不擅长迭代式、交互式和流式的计算工作。针对这一点，Spark创造性地引入了RDD（弹性分布式数据集），实现了计算过程中的资源共享。因为采用了弹性内存分布式数据集，所以Spark不仅能提供交互式查询，还可优化迭代工作的负载。
【第一期】《互联网广告系统：架构、算法与智能化》
爱书不爱输的程序猿
07-30 4464
广告平台的建设和完善是一项长期工程。例如，谷歌早于 2003 年通过收购Applied Semantics开展Google AdSense 项目，而直到 20 年后的今天，谷歌展示广告平台仍在持续创新和提升。广告平台是负有营收责任的复杂在线平台，对其进行任何改动都必须格外谨慎。同时，随着平台的成熟，广告效果提升的难度也会加大。一套完备、易用、严谨的线上实验系统，是质量团队长期维持高效输出的关键工具，其重要性不亚于大航海时代的指南针。每家跨国互联网公司都会有一个广告系统，为公司源源不断地贡献利润。
看过无数总结，经历无数实践，这才是顶级IT公司的架构设计
Leo的博客
03-26 3219
今天淘宝出了个bug，从昨晚测试版本一直上到现在，不知道什么时候能解决.... 说实话，今天这个325的锅，谁都得背，无论是程序员还是ios端的架构负责人，听说工作群从早上炸到现在了...具体什么原因，我们不做猜测，但是今天就来说说架构的问题，毕竟我也是看过很多总结，并且经历过很多公司的架构设计的。 当然，阿里的系统架构肯定是没有问题的，毕竟它是国内的顶级IT公司。 一. 什么是架...
图书简介：Greenplum从大数据战略到实现
肥叔菌的博客
06-17 8880
Greenplum：从大数据战略到实现 作者: 冯雷 / 姚延栋 / 高小明 / 杨瑜 出版社: 机械工业出版社 出版年: 2019-7 页数: 407 定价: 119 装帧: 平装 丛书: 大数据技术丛书 ISBN: 9787111632160 数字原生 2010年11月，在Greenplum创始人的支持下，我们在北京建立了Greenplum中国研发体系。2013年4月，随着Pivotal公司的建立，我们在Greenplum中国研发的基础上合并了部分VMWare中国研发集团的P层云资产，建立了Pivot
【大数据 OLAP 技术新书推荐】 字节跳动阿里巴巴大厂资深架构师程序员多年实践经验总结《ClickHouse入门、实战与进阶》ClickHouse领域集大成之作，入门标准参考书日常工作案头必备手册
光剑书架上的书
06-25 1万+
本书是ClickHouse领域的集大成之作，从基础知识、实现原理、项目实战、扩展应用4个维度全面展开，表述简练清晰、案例丰富实用，既可以作为入门的标准参考书，又适合作为案头速查手册。书中内容是作者在阿里巴巴、字节跳动多年实战经验的总结，得到了字节跳动和阿里巴巴9位大数据专家的高度评价。全书共10章，主要内容如下：第1~3章整体介绍ClickHouse概念、特性、应用场景、技术生态、快速入门和基础数据类型等基础内容，目的是从本质上揭开ClickHouse高性能背后的秘密，帮助读者快速上手实践。
工业物联网：平台架构、关键技术与应用实践
华章IT官方博客
04-07 2211
工业物联网是物联网在工业领域的应用，是物联网与传统产业的深度融合。随着中国智能制造、德国工业4.0、美国先进制造伙伴计划等一系列国家战略的提出和实施，工业物联网成为全球工业体系“创新驱动、转型升级”的重要推手。将工业物联网应用于研发设计、生产制造、运营管理及服务运维等全流程各个环节，用工业物联网改造传统产业，实现企业数字化转型、资源高效利用，促进产业结构调整，推动经济发展...
怎样成为一个优秀的架构师？
热门推荐
光剑书架上的书
10-08 17万+
怎样才算是架构师？ 架构师是一个既能掌控整体又能洞悉局部瓶颈并依据具体的业务场景给出解决方案的团队领导型人物。看似完美的“人格模型”背后，是艰辛的探索。 架构师不是一个人，他需要建立高效卓越的体系，带领团队去攻城略地，在规定的时间内完成项目。 架构师的分类 从业界来看对于架构师的理解可以大概区分为： 企业架构师：专注于企业总体 IT 架构的设计。 IT 架构师-软件产品架构...
大数据测试
qq_37356854的博客
02-24 1738
一、绪论： 大数据是大容量、高速率、多形态的信息资产，且需要成本效益、信息处理来增加洞察力和决策创新形式。大数据是指大小超出了典型数据库软件工具收集、存储、管理和分析能力的数据集。 大数据分析框架测试、算法质量测试、性能测试、大数据安全和隐私软件测试的经典定义：为发现软件错误，而运行软件的活动。 基本思路：根据软件需求规格说明书，执行软件操作和输入数据，依据软件实际输出结果和预期输出结果来评判软件...
王启军：云原生架构下如何拆分微服务？
中生代技术
04-20 390
王启军，云原生技术架构专家，曾任当当架构师，主导电商平台架构设计，包括订单、支付、价格、库存、物流等。曾就职于搜狐，负责手机微博的研发。十余年的技术历练，也曾作为技术负责人带领过近百人的团...
pyhton - PyHive
xingyuelhb的博客
08-30 997
这里，我们使用 PyHive 连接到 Hive 数据库，并使用 Pandas 读取了数据库中的数据。这里，我们使用 PyHive 连接到 Hive 数据库，并使用 SQL 查询语句获取数据集的总行数。这里，我们使用 pandas.read_sql 方法将查询结果转换为 Pandas DataFrame，并将其赋值给名为 df 的变量。这里，我们创建一个名为 connection 的连接对象，并将其连接到本地的 Hive 数据库上。请注意，你需要提供正确的连接参数以连接到你的Hive。
【大数据】Canal实现MySQL数据增量同步至Kafka：原理与配置解析
最新发布
一个不断前行的程序者
09-04 652
Canal是一款开源的数据库增量日志解析组件，主要用于监控数据库数据变更，并将变更数据同步到其他存储介质。Canal通过模拟MySQL Slave的交互协议，实时获取数据库的增量更新，从而实现数据同步。本文将介绍如何使用Canal将MySQL的数据通过监听Binlog，增量发送到Kafka。Binlog（Binary Log）是MySQL数据库的二进制日志，记录了所有对数据库数据的修改操作。开启Binlog后，MySQL会实时将数据变更记录到Binlog文件中。
SpringCloud Alibaba】（十三）学习 RocketMQ 消息队列
sco5282的博客
09-01 1284
引入MQ最大的优点就是异步解耦和流量削峰，但是引入 MQ 后也有很多需要注意的事项和问题，主要包括：系统的整体可用性降低、系统的复杂度变高、引入了消息一致性的问题。重新打开 cmd 命令行，进入 RocketMQ 的 bin 目录，在命令行输入如下命令调用 RocketMQ 自带的消费者程序消费 RocketMQ 中的消息。下单成功后将订单的信息发送到 RocketMQ，然后用户微服务订阅 RocketMQ 的消息，接收到消息后进行打印。说明生产者发送到 RocketMQ 的消息，被消费者成功消费到了。
自然语言处理系列五十》文本分类算法》SVM支持向量机算法原理
weixin_52610848的博客
09-01 1375
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
2016版数据库与大数据基石：从入门到精通
对于希望在信息技术领域尤其是数据分析和企业级应用中建立坚实基础的学习者来说，这本书是不可或缺的参考资料。 在出版方面，本书得到了ECS的大力支持，由Marcia J. Horton担任副总裁兼编辑总监，团队成员包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值