![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 63
记录一些产品工作中的沉淀、总结。
胡萝卜土豆
静水深流
展开
-
大数据之路-数据中台-概述(1)
数据中台是国内学者提出的概念,它的技术理念来源于国外的一些开源架构,然而国外没有数据中台厂商,常见赛道如图所示,包括数据采集、数据管理、数据可视化、数据分析、数据治理等。国内的做法一般是端到端全部覆盖,因此逐渐形成市场认知中的数据中台,个人倾向于将数据中台理解为解决企业数据问题,释放企业数据价值的一套端到端的解决方案。原创 2023-01-14 17:00:40 · 1949 阅读 · 1 评论 -
大数据之路-Hadoop-Demo(5)
Java客户端API使用准备工作1、新建Java项目,建立lib文件夹2、将hdfs客户端开发所需的jar导入工程,将如下所有文件导入项目lib文件夹中。Demopublic class HdfsClientDemo { public static void main(String[] args) throws Exception { /** * Configuration参数对象的机制: * 构造时,会加载jar包中的默认配置 xx-default.xml原创 2022-01-27 18:40:34 · 179 阅读 · 0 评论 -
大数据之路-Hadoop-部署(4)
hadoop-eclipse-plugin安装想在windows环境下,用eclipse进行开发,提交到Hadoop上执行,需要安装插件hadoop-eclipse-plugin。前期准备:1、安装Eclipse及JDK(略)2、下载hadoop-eclipse-plugin(找到了两个资源)https://download.csdn.net/download/sunnnyeee/10982844https://download.csdn.net/download/sunnnyeee/10938原创 2022-01-19 14:50:27 · 1815 阅读 · 0 评论 -
大数据之路-Hadoop-部署(3)
之前PPT里写平台产品价值的时候,总是会写“开箱即用,降低部署门槛"这一点,好奇之下自己找了些网上的资料,尝试了下部署,分享下自己的部署步骤。准备工作先准备3台虚拟机:1个namenode节点 + 2个datanode 节点各台机器的主机名和ip地址如下:主机名:master 对应的ip地址:192.168.110.11主机名:slave1 对应的ip地址:192.168.110.12主机名:slave2 对应的ip地址:192.168.110.13已配置好网络环境,免密登录和JDK。原创 2022-01-12 13:52:42 · 1294 阅读 · 0 评论 -
大数据之路-Hadoop-概述(2)
Hadoop集群Hadoop和云计算的关系2006年,谷歌在搜索引擎大会上正式提出了“云计算”的概念。云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。现阶段,云计算的两大底层支撑技术为“虚拟化”和“大数据技术”云计算借助IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等业务模式,把强大的计算能力提供给终端用户。而Hadoop则是云计算的PaaS层的解决方案之一,并不等同于PaaS,更不等同于云计算。这么原创 2022-01-05 17:42:52 · 677 阅读 · 0 评论 -
大数据之路-Hadoop-概述(1)
Hadoop已经不是一个新技术了,从2003年谷歌的三驾马车(GFS、MapReduce、Bigtable),到2008年成为Apache的顶级项目,一直到现在广泛的使用在大数据领域中,这是在做数据中台建设时必然会接触到的领域。因此想写一个系列,从产品经理的角度讲一讲Hadoop及其相关的一些生态,帮助非技术背景的同行们能够更快速的理解。如果从一个产品角度来分析Hadoop,那么可以分成以下几个方面:背景问题Hadoop最早起源于Nutch,Nutch的设计目标是构建一个大型的全网搜索引擎,在这过程原创 2021-12-31 18:30:26 · 1130 阅读 · 0 评论