- 博客(6)
- 收藏
- 关注
RSS订阅原创 一篇文章教你如何搭建scala和spark（超详细）
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；
2024-04-12 18:44:48
1172
原创 一篇文章教会你如何安装zookeeper和hbase(超详细版)
ZooKeeper 是一个开源的分布式协调服务，ZooKeeper 框架最初是在“Yahoo!"上构建的，用于以简单而稳健的方式访问他们的应用程序。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。ZooKeeper 是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于 ZooKeeper 实现诸如。
2024-04-12 18:17:09
1270
原创 一篇文章教会你如何搭建hive数据库
（此图为Apache Hive官网的截图，具体网址为Hive是基于Hadoop的数据仓库工具，可以用来对HDFS中存储的数据进行查询和分析。Hive能够将HDFS上结构化的数据文件映射为数据库表，并提供SQL查询功能，将SQL语句转变成MapReduce任务来执行。Hive通过简单的SQL语句实现快速调用MapReduce机制进行数据统计分析，因此不必专门开发MapReduce应用程序即可实现大数据分析。Hive对存储在HDFS。
2024-04-07 19:42:46
1305
2
原创 关于hadoop的一些小知识
或者[root@localhost ~]# ifconfig ens33 192.168.31.100/24。systemctl restart network(重启网卡配置信息)(写手的网络配置文件在ens33，具体看自己的配置文件)（因为本文使用的是centos发布的镜像，所以不需要自检）#进入网络配置文件所在文件夹。gpgcheck=0指的是自检不需要。#查看当前目录下所有文件。baseurl指的是镜像存储路径。是目标路径(可作更改）[aaa]指的是仓库名。
2024-03-15 18:44:40
292
1
原创 关于hadoop的一些资料（均转载）
Spark 提供了丰富的数据处理操作和算法，如 Map、Reduce、Filter、Join、GroupBy 等，可用于大规模数据的处理、转换和分析。HBase:HBase是一种分布式、可扩展的面向列的NoSQL数据库，它基于Hadoop的HDFS和ZooKeeper来提供可靠的、高性能的数据存储和实时读写访问。3、数据转换和处理：Hive 的查询语言 HiveQL 支持丰富的数据转换函数和操作，用户可以使用 HiveQL 进行数据提取、转换和加载（ETL）操作，对数据进行加工和清洗。
2024-03-08 16:39:54
808
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人