- 博客(6)
- 收藏
- 关注
原创 一篇文章教你如何搭建scala和spark(超详细)
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发的通用内存并行计算框架Spark得到了众多大数据公司的支持,这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务;
2024-04-12 18:44:48
1573
原创 一篇文章教会你如何安装zookeeper和hbase(超详细版)
ZooKeeper 是一个开源的分布式协调服务,ZooKeeper 框架最初是在“Yahoo!"上构建的,用于以简单而稳健的方式访问他们的应用程序。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一系列简单易用的接口提供给用户使用。ZooKeeper 是一个典型的分布式数据一致性解决方案,分布式应用程序可以基于 ZooKeeper 实现诸如。
2024-04-12 18:17:09
1602
原创 一篇文章教会你如何搭建hive数据库
(此图为Apache Hive官网的截图,具体网址为Hive是基于Hadoop的数据仓库工具,可以用来对HDFS中存储的数据进行查询和分析。Hive能够将HDFS上结构化的数据文件映射为数据库表,并提供SQL查询功能,将SQL语句转变成MapReduce任务来执行。Hive通过简单的SQL语句实现快速调用MapReduce机制进行数据统计分析,因此不必专门开发MapReduce应用程序即可实现大数据分析。Hive对存储在HDFS。
2024-04-07 19:42:46
1733
2
原创 关于hadoop的一些小知识
或者[root@localhost ~]# ifconfig ens33 192.168.31.100/24。systemctl restart network(重启网卡配置信息)(写手的网络配置文件在ens33,具体看自己的配置文件)(因为本文使用的是centos发布的镜像,所以不需要自检)#进入网络配置文件所在文件夹。gpgcheck=0指的是自检不需要。#查看当前目录下所有文件。baseurl指的是镜像存储路径。是目标路径(可作更改)[aaa]指的是仓库名。
2024-03-15 18:44:40
310
1
原创 关于hadoop的一些资料(均转载)
Spark 提供了丰富的数据处理操作和算法,如 Map、Reduce、Filter、Join、GroupBy 等,可用于大规模数据的处理、转换和分析。HBase:HBase是一种分布式、可扩展的面向列的NoSQL数据库,它基于Hadoop的HDFS和ZooKeeper来提供可靠的、高性能的数据存储和实时读写访问。3、数据转换和处理:Hive 的查询语言 HiveQL 支持丰富的数据转换函数和操作,用户可以使用 HiveQL 进行数据提取、转换和加载(ETL)操作,对数据进行加工和清洗。
2024-03-08 16:39:54
828
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人