- 博客(6)
- 收藏
- 关注
RSS订阅原创 hadoop的平台搭建和运行
rw-------. 1 hadoop hadoop 395 11月 14 16:18 authorized_keys。-rw-------. 1 hadoop hadoop 395 11月 14 16:18 authorized_keys。-rw-------. 1 hadoop hadoop 395 11月 14 16:19 authorized_keys。-rw-r--r--. 1 hadoop hadoop 33 11月 10 23:50 part-r-00000。
2024-04-25 19:00:29
1767
原创 你不知道的配ip小tips
yum是基于RPM包构建的软件更新机制，能够自动解决软件包之间的依赖关系。yum仓库和客户端组成，也就是整个yum由两部分组成，所有yum可以存放在两台服务器上，也可以存放在一台服务器上，可以有官方来提供服务，也可以由第三方来提供，比如国内的阿里云，搜狐云，还有一些非营利组织比如学校等。官方源一般在国外，下载速度肯定有限，手动更改成国内的云可以大幅提升下载速度。软件仓库的提供方式：网络源- ftp服务：ftp：//...- http服务：http：//...本地源。
2024-03-21 23:48:08
698
原创 关于深远的hadoop
Spark 提供了丰富的数据处理操作和算法，如 Map、Reduce、Filter、Join、GroupBy 等，可用于大规模数据的处理、转换和分析。HBase:HBase是一种分布式、可扩展的面向列的NoSQL数据库，它基于Hadoop的HDFS和ZooKeeper来提供可靠的、高性能的数据存储和实时读写访问。3、数据转换和处理：Hive 的查询语言 HiveQL 支持丰富的数据转换函数和操作，用户可以使用 HiveQL 进行数据提取、转换和加载（ETL）操作，对数据进行加工和清洗。
2024-03-13 21:39:02
1441
原创 大数据时代
3. 数据多样性：大数据包括结构化、半结构化和非结构化数据，其中非结构化数据越来越成为数据的主要部分。此外，大数据还有其他特征，如真实性（数据的质量）、复杂性（数据量巨大，来源多渠道）和价值（合理运用大数据，以低成本创造高价值）。2.非结构化数据:非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。HDFS是高容错性的，可以部署在低成本的硬件之上，HDFS提供高吞吐量地对应用程序数据访问，它适合大数据集的应用程序。6. 并行读取，若失败重新读取。
2024-03-07 20:48:04
342
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人