大数据之路-数据中台-概述（1） 数据中台是国内学者提出的概念，它的技术理念来源于国外的一些开源架构，然而国外没有数据中台厂商，常见赛道如图所示，包括数据采集、数据管理、数据可视化、数据分析、数据治理等。国内的做法一般是端到端全部覆盖，因此逐渐形成市场认知中的数据中台，个人倾向于将数据中台理解为解决企业数据问题，释放企业数据价值的一套端到端的解决方案。
大数据之路-Hadoop-Demo（5） Java客户端API使用准备工作1、新建Java项目，建立lib文件夹2、将hdfs客户端开发所需的jar导入工程，将如下所有文件导入项目lib文件夹中。Demopublic class HdfsClientDemo { public static void main(String[] args) throws Exception { /** * Configuration参数对象的机制： * 构造时，会加载jar包中的默认配置 xx-default.xml
大数据之路-Hadoop-部署（4） hadoop-eclipse-plugin安装想在windows环境下，用eclipse进行开发，提交到Hadoop上执行，需要安装插件hadoop-eclipse-plugin。前期准备：1、安装Eclipse及JDK（略）2、下载hadoop-eclipse-plugin（找到了两个资源）https://download.csdn.net/download/sunnnyeee/10982844https://download.csdn.net/download/sunnnyeee/10938
大数据之路-Hadoop-部署（3） 之前PPT里写平台产品价值的时候，总是会写“开箱即用，降低部署门槛"这一点，好奇之下自己找了些网上的资料，尝试了下部署，分享下自己的部署步骤。准备工作先准备3台虚拟机：1个namenode节点 + 2个datanode 节点各台机器的主机名和ip地址如下：主机名：master 对应的ip地址：192.168.110.11主机名：slave1 对应的ip地址：192.168.110.12主机名：slave2 对应的ip地址：192.168.110.13已配置好网络环境，免密登录和JDK。
大数据之路-Hadoop-概述（2） Hadoop集群Hadoop和云计算的关系2006年，谷歌在搜索引擎大会上正式提出了“云计算”的概念。云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。现阶段，云计算的两大底层支撑技术为“虚拟化”和“大数据技术”云计算借助IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS（软件即服务）等业务模式，把强大的计算能力提供给终端用户。而Hadoop则是云计算的PaaS层的解决方案之一，并不等同于PaaS，更不等同于云计算。这么
大数据之路-Hadoop-概述（1） Hadoop已经不是一个新技术了，从2003年谷歌的三驾马车（GFS、MapReduce、Bigtable），到2008年成为Apache的顶级项目，一直到现在广泛的使用在大数据领域中，这是在做数据中台建设时必然会接触到的领域。因此想写一个系列，从产品经理的角度讲一讲Hadoop及其相关的一些生态，帮助非技术背景的同行们能够更快速的理解。如果从一个产品角度来分析Hadoop，那么可以分成以下几个方面：背景问题Hadoop最早起源于Nutch，Nutch的设计目标是构建一个大型的全网搜索引擎，在这过程
立一个FLAG 立一个FLAG今天是2021年的最后一天，回顾这一年，似乎匆匆就过去了。从成为产品经理开始，一直做的大数据平台相关，离线开发、实时开发、机器学习、画像分析…发现做了很多，但很少总结，突然想要去写点什么。也许开始做一件事情才是最难的，从这里开始，记录一些生活工作中的思考和沉淀。...
关注
