如何创建一个大数据平台?

最新推荐文章于 2025-09-16 21:07:07 发布
转载 最新推荐文章于 2025-09-16 21:07:07 发布 · 692 阅读 · 0

http://www.36dsj.com/archives/56003?utm_source=tuicool&utm_medium=referral
如何构建一个企业级的大数据平台？
AI天才研究院
09-16 3607
作者：禅与计算机程序设计艺术 1.简介 随着互联网、移动互联网、云计算等新兴技术的不断发展，信息化已经成为社会经济发展的必然趋势。信息化对经济发展的冲击力量极大，深刻影响了企业管理、组织架构、业务模式和服务体验等方方面面。由于数字化进程的复杂性和不可控性，传统的信息系统已无法满足快速变化和多样化的需求。
大数据架构平台搭建指南
王者NO1
09-09 3077
大家都会想到非常多，包括但不限于：Crontab、Apache Airflow、Oozie、Azkaban、Kettle、XXL-JOB、DolphinScheduler、SeaTunnel 等，五花八门。Spark 是非常高效的批处理工具，成熟，稳定，比 Hive 快很多，并且还能实现近实时的数据处理能力。其中 Hive 的用途很广，也很可靠，底层基于 MapReduce 的封装，属于 Hadoop 全家桶组件之一，缺点是只能实现离线批处理。的组件架构，便于了解大数据平台的全貌，然后分别介绍。
关于两台服务器手动搭建大数据平台方法和步骤
m0_64093008的博客
11-14 381
##### 初始服务器数量 - 2台centos7 ##### 建议配置 - 32G(RAM) - 24cpu - 10t(SATA) ### 1.环境 - 系统centos7 - jdk：1.8.0_171（64位） - zookeeper：3.4.8 - spark-2.1.0-bin-hadoop2.6 - kafka_2.10-0.10.2.1 - hadoop-2.7.0 - hbase-1.2.6 - elasticsearch-6.3.0 ### 2.系统准备 对应的安装包文件： e...
从0到1搭建大数据数据服务平台：完整教程
最新发布
AI大模型应用之禅
09-16 1154
想象一下：你的公司每天产生用户行为日志、交易记录、设备传感器数据等千万级数据，但这些数据分散在MySQL、Redis、日志文件中，业务部门需要分析用户画像时，技术团队要手动从多个系统导数据、写脚本清洗，耗时3天才能出结果——这就是典型的“数据孤岛”困境。本文的目标，就是教你搭建一个统一的大数据数据服务平台数据分散：将多源数据（结构化/非结构化）统一采集、存储；分析低效：支持离线批量计算（如每日用户画像）和实时计算（如双11实时GMV）；
搭建数据平台
架构之路
10-19 1639
数据平台分层结构DataPlatform-user —-DataPlatform-user-repository 数据存储，提供存储数据的能力 —-DataPlatform-user-repository-interface 数据存储接口，对内、外提供接口 —-DataPlatform-user-model 数据模型 —-DataPlatform-user-dao 数据持久
如何建立数据平台？看上市公司的选择！
Leo的博客
09-12 1840
企业的发展离不开信息化建设的依托，尤其是处于快速发展和转型的企业，其信息化系统也是在不断扩展和更新的。但系统一多，相应的数据问题也随之而来。如何统一有效地管理数据？实现数据可视化？
如何搭建一个大数据平台：从新项目到成熟阶段
weixin_45583158的博客
12-04 5498
在业务增涨过程中，每个企业不知不觉积累积累了一些数据。无论数据是多是少，企业都希望让“数据说话”，通过对数据的采集、存储、分析、计算最终提供对业务有价值信息。此时，大数据平台的搭建就是企...
如何创建一个大数据平台
01-27
各个板块都对应着一个业务系统，数据存储独立，数据之间无交集；3.数据孤岛。在获取数据时，往往需要登录多个系统，数据编码独立，缺失关联性；4.分析指标孤立。各个业务系统，数据的分析指标不统一，相对孤立，价值...
精选资源
centos7.2安装星环大数据平台TDH-刘磊-20200719_TDH_大数据平台_星环_
10-03
1. **解压安装包**：下载完成后，解压缩文件到一个合适的目录，例如 `/opt`。 ```bash sudo mkdir /opt/tdh cd /opt/tdh sudo tar -zxvf <downloaded_tdh_package>.tar.gz ``` 2. **配置环境变量**：在 `/etc/...
如何创建一个大数据平台？
weixin_33700350的博客
04-25 549
https://www.zhihu.com/question/37627092背景：作者：Xiaoyu Ma链接：https://www.zhihu.com/question/37627092/answer/72948056来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。对小公司来说，大概自己找一两台机器架个集群算算，也算是大数据平台了。在初创阶...
大数据平台搭建详解
05-12
大数据平台搭建详解是本人博客的word版本，若有疑问请联系小编，大家共同学习，微信 dym0123456789 小编的博客https://blog.csdn.net/dingyanming/article/details/80290049#commentBox
大数据平台环境搭建_大数据平台搭建
2301_82241942的博客
04-28 1452
主机hadoop7从机hadoop8从机hadoop9在浏览器中查看hdfs和yarn的web界面ip地址:50070ip地址:8088将spark压缩包上传到Linux的/usr/local目录下并解压。 2、文件配置 切换到spark安装包的/conf目录下，进行配置。使用cp命令将配置文件复制一份，原文件备份 配置slaves文件： 配置spark-defaults.conf文件：hadoop7： hadoop8和hadoop9： 配置spark-env.sh文件： 3、启动hadoop集群 启动
如何搭建企业大数据分析平台
文武傲群雄，彳亍定江山
04-02 8916
讨论一：先来谈谈企业搭建大数据分析平台的背景。1、搭建大数据平台离不开BI。在大数据之前，BI就已经存在很久了，简单把大数据等同于BI，明显是不恰当的。但两者又是紧密关联的，相辅相成的。BI是达成业务管理的应用工具，没有BI，大数据就没有了价值转化的工具，就无法把数据的价值呈现给用户，也就无法有效地支撑企业经营管理决策；大数据则是基础，没有大数据，BI就失去了存在...
大数据平台开发
fzxgg的博客
06-19 1715
大数据平台开发 亮点 前期在操作过程中还是有很多坎坷和插曲，印象最为深刻的就是我那台笔记本进入bios不是重启狂按f10进入的，在我各种琢磨不透的时候，在百度查询各种资料以后最后发现，原来我这台电脑左侧有个小孔得用针插入开启电脑才能进入bios调整设置，我跟发现新大陆似的，就心想哦原来还有这种开机方式的，然后再调整设置之后虚拟机就可以正常的操作和运行了。然后还遇到过下载的文件就两个程序之间不兼容，这就很烦了，也是费劲功夫从网上下载兼容的版本使用，这是最让我头疼的，因为这些问题拖缓了我，就我跟不上上课的进度，
大数据平台搭建
dssj_fh的博客
10-25 4363
本次在服务器上安装2台虚拟机 分别是 sky174 sky175 利用cloudera manager 安装 CDH 都是离线的环境 项目所需的安装文件 CentOS-7-x86_64-DVD-1708 mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz jdk-7u80-linux-x64.tar.gz Cm 5.13.1 Cdh 5.13.1 cl...
大数据平台的开发与思考一：
u014745604的博客
10-05 1638
## 大数据平台的历史背景 ## 目前存在的数据平台的产品 ## 数据产品的技术架构 ## 拓展知识 ### 什么是数仓 ## 什么是数据湖 ## 什么是流批一体
大数据平台开发作业
Gaoyuqing1的博客
06-15 435
大数据平台开发 前期准备 准备好四台安装了centos系统的虚拟机，并在其中一台完成伪分布式的安装 高可用安装 HA安装方案 分发jdk到node02,ndoe03,node04上 1 scp jdk-7u67-linux-x64.rpm node02：`pwd` 2 scp jdk-7u67-linux-x64.rpm node03：`pwd` 3 scp jdk-7u67-linux-x64.rpm node04：`pwd 并在Xshell的全部会话栏里一起ll，看jdk是否发送成功。 给node0
如何在VirtualBox上使用Ubuntu虚拟机搭建和配置一个基础的大数据平台？请提供详细的步骤和注意事项。
10-29
大数据平台的搭建是一个复杂的过程，其中涉及到虚拟机的安装和配置是其基础。本回答旨在为你提供一个全面的指南，帮助你在VirtualBox上搭建和配置一个基础的大数据平台。 参考资源链接：[大数据平台搭建与Ubuntu...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值