自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 资源 (2)
  • 收藏
  • 关注

原创 大数据之路-数据中台-概述(1)

数据中台是国内学者提出的概念,它的技术理念来源于国外的一些开源架构,然而国外没有数据中台厂商,常见赛道如图所示,包括数据采集、数据管理、数据可视化、数据分析、数据治理等。国内的做法一般是端到端全部覆盖,因此逐渐形成市场认知中的数据中台,个人倾向于将数据中台理解为解决企业数据问题,释放企业数据价值的一套端到端的解决方案。

2023-01-14 17:00:40 1935 1

原创 大数据之路-Hadoop-Demo(5)

Java客户端API使用准备工作1、新建Java项目,建立lib文件夹2、将hdfs客户端开发所需的jar导入工程,将如下所有文件导入项目lib文件夹中。Demopublic class HdfsClientDemo { public static void main(String[] args) throws Exception { /** * Configuration参数对象的机制: * 构造时,会加载jar包中的默认配置 xx-default.xml

2022-01-27 18:40:34 175

原创 大数据之路-Hadoop-部署(4)

hadoop-eclipse-plugin安装想在windows环境下,用eclipse进行开发,提交到Hadoop上执行,需要安装插件hadoop-eclipse-plugin。前期准备:1、安装Eclipse及JDK(略)2、下载hadoop-eclipse-plugin(找到了两个资源)https://download.csdn.net/download/sunnnyeee/10982844https://download.csdn.net/download/sunnnyeee/10938

2022-01-19 14:50:27 1812

原创 大数据之路-Hadoop-部署(3)

之前PPT里写平台产品价值的时候,总是会写“开箱即用,降低部署门槛"这一点,好奇之下自己找了些网上的资料,尝试了下部署,分享下自己的部署步骤。准备工作先准备3台虚拟机:1个namenode节点 + 2个datanode 节点各台机器的主机名和ip地址如下:主机名:master 对应的ip地址:192.168.110.11主机名:slave1 对应的ip地址:192.168.110.12主机名:slave2 对应的ip地址:192.168.110.13已配置好网络环境,免密登录和JDK。

2022-01-12 13:52:42 1287

原创 大数据之路-Hadoop-概述(2)

Hadoop集群Hadoop和云计算的关系2006年,谷歌在搜索引擎大会上正式提出了“云计算”的概念。云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。现阶段,云计算的两大底层支撑技术为“虚拟化”和“大数据技术”云计算借助IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等业务模式,把强大的计算能力提供给终端用户。而Hadoop则是云计算的PaaS层的解决方案之一,并不等同于PaaS,更不等同于云计算。这么

2022-01-05 17:42:52 669

原创 大数据之路-Hadoop-概述(1)

Hadoop已经不是一个新技术了,从2003年谷歌的三驾马车(GFS、MapReduce、Bigtable),到2008年成为Apache的顶级项目,一直到现在广泛的使用在大数据领域中,这是在做数据中台建设时必然会接触到的领域。因此想写一个系列,从产品经理的角度讲一讲Hadoop及其相关的一些生态,帮助非技术背景的同行们能够更快速的理解。如果从一个产品角度来分析Hadoop,那么可以分成以下几个方面:背景问题Hadoop最早起源于Nutch,Nutch的设计目标是构建一个大型的全网搜索引擎,在这过程

2021-12-31 18:30:26 1110

原创 立一个FLAG

立一个FLAG今天是2021年的最后一天,回顾这一年,似乎匆匆就过去了。从成为产品经理开始,一直做的大数据平台相关,离线开发、实时开发、机器学习、画像分析…发现做了很多,但很少总结,突然想要去写点什么。也许开始做一件事情才是最难的,从这里开始,记录一些生活工作中的思考和沉淀。...

2021-12-31 13:09:16 1077

hadoop_on_windows_2.8.3

包括:hadoop-eclipse-plugin-2.8.3.jar,hadoop-common-2.8.3-bin-master,支持Eclipse在windows上进行hadoop开发,实测可用。

2019-03-01

hadoop_on_windows_2.6.0

包括:hadoop-eclipse-plugin-2.6.0.jar,hadoop-2.6.0.tar.gz,hadoop-common-2.6.0-bin-master,支持Eclipse在windows上进行hadoop开发,实测可用。

2019-01-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除