关注
分享
文章平均质量分 88
本专栏主要介绍大数据技术与相关知识与实验。其中包括存储与管理：分布式文件系统HDFS、分布式数据库HBASE、非关系型数据库NoSQL、 数据仓库Hive；分布式协调与资源管理：分布式协调服务Zookeeper、资源管理与调度Yarn；处理与计算： 批处理MapReduce、 内存计算Spark等。
小嘤嘤怪学
这个作者很懒，什么都没留下…
展开
-
大数据技术之HBase的安装和基本操作
1、下载安装HBase；2、配置环境变量；3、添加用户权限；4、查看HBase版本信息；5、单机模式配置；6、伪分布式配置；7、HBase常用Shell命令。原创 2024-01-11 12:49:57 · 816 阅读 · 0 评论 -
大数据技术之NoSQL数据库的安装和使用
安装和使用安装Redis和MongoDB数据库，分别在两种数据库中插入小组成员信息，并进行修改、查询、删除等操作。1.Redis数据库2. MongoDB数据库原创 2024-01-11 12:49:39 · 1091 阅读 · 0 评论 -
大数据技术之Hive基本操作及实验（四）
一、环境准备二、Hive数据仓库准备三、数据表操作四、Hive数据导出与导入五、三种常见的数据导出方式六、Hive词频统计原创 2024-01-10 15:10:41 · 869 阅读 · 0 评论 -
大数据技术之Hive的安装和基本操作（三）
Hive的安装和基本操作；Hive的安装和配置；MySQL的安装；下载MySQL JDBC驱动程序；启动MySQL；在MySQL中为Hive新建数据库；配置MySQL允许Hive接入；启动HIVE原创 2024-01-10 15:10:00 · 577 阅读 · 0 评论 -
大数据技术之Hive基础知识及基础操作（二）
八、Hive的数据类型九、Hive的基本操作十、Hive实例——词频统计原创 2024-01-09 14:45:39 · 814 阅读 · 0 评论 -
大数据技术之Hive基础知识及基础操作（一）
一、数据仓库二、数据仓库的体系结构三、Hive简介四、Hive与其他组件关系五、Hive的数据单元六、Hive系统架构概述七、Hive组成模块数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数。据集合，用于支持管理决策。原创 2024-01-09 14:18:29 · 902 阅读 · 0 评论 -
大数据技术之Hadoop简介与概述和安装后练习
（1）启动Hadoop（2）执行jps，检查Hadoop相关进程是否启动成功（3）在本地文件系统“/home”下新建两个文件夹，分别命名为“local1”和“local2”hadoop fs -mkdir -p /home/local1 /home/local2hadoop fs -ls /home（4）在“local1”下新建4个文本文件原创 2024-01-08 11:15:37 · 934 阅读 · 0 评论 -
大数据技术之Hadoop伪分布式安装步骤及结果（Ubuntu）
一、实验内容与要求1、下载安装虚拟机软件；下载Ubuntu镜像文件，安装Ubuntu虚拟机；2、在Ubuntu系统中创建用户、更新APT、安装SSH并配置SSH无密码登录、安装Java环境、配置PATH环境变量；3、下载Hadoop并解压；4、修改配置文件；5、名称节点格式化；6、启动Hadoop，JPS查看是否启动成功；7、运行测试例子；8、在安装好的Hadoop伪分布式环境中操作HDFS命令；9、关闭Hadoop。原创 2024-01-08 10:15:57 · 1646 阅读 · 0 评论