![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 89
登山人在路上
这个作者很懒,什么都没留下…
展开
-
数据同步工具DataX介绍
定义:DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(如MySQL、Oracle等)、HDFS(Hadoop分布式文件系统)、Hive、ODPS(分布式海量数据处理平台)、HBase等多种异构数据源之间稳定高效的数据同步功能。平台支持:广泛适用于阿里巴巴集团内部及外部用户,是解决异构数据源同步问题的重要工具。DataX作为一款高效、易用、功能丰富的数据同步工具,在数据迁移领域具有重要地位。原创 2024-07-21 13:45:46 · 399 阅读 · 0 评论 -
HDFS集群环境部署
例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考配置HDFS集群,我们主要涉及到如下文件的修改:workers: 配置从节点(DataNode)有哪些hadoop-env.sh: 配置Hadoop的相关环境变量core-site.xml: Hadoop核心配置文件hdfs-site.xml: HDFS核心配置文件。原创 2023-11-15 09:49:15 · 378 阅读 · 0 评论 -
虚拟机上搭建Hadoop运行环境
比如在上面这台虚拟机上面配置了上述主机名称和IP的映射,那么我要在这台主机访问另外几个IP,只需要访问他们的主机名即可。最大磁盘大小在条件允许的情况下建议是设置40G以上, 20G可能后续还需扩容,这里我们设置的50G.集群化软件之间需要通过端口互相通讯,为了避免出现网络不通的问题,我们可以简单的在集群内部关闭防火墙。手动分区的话,选择“我要配置分区”,点击完成,然后弹出配置界面,进行配置即可,这里不作赘述。设置日期和时间,将日期和时间设置为当前时间,设置完成后点击完成即可。为了方便可以选择自动分区。原创 2023-08-04 16:25:50 · 2863 阅读 · 0 评论