- 博客(19)
- 收藏
- 关注
RSS订阅原创 启动hive
2.使用hiveserver2命令 ，启动hiveserver2后 ，使用beeline命令，进行beeline命令行。nuhup:放在命令的开头，用于表示执行的命令处于不挂起，即使关闭窗口，该命令依旧运行。hiveserver2启动后，其他命令就无法使用了，得复制一个窗口。1.使用hive命令 进行hive命令行 UI比较简陋 ，很少使用。3.基于hiveserver2的使用不便，对该方式进行进阶。就启动了 hiveserver2和beeline。2：表示的是错误日志输出。直接输入hive命令。
2024-06-28 10:00:55
150
原创 hive安装
把hive的压缩包上传到虚拟机的目录我这里是解压文件到 /opt/softs修改文件名到中配置环境变量添加退出后一下把mysqljar包丢进来。
2024-06-27 15:47:01
271
原创 Linux安装Mysql
将安装包上传到虚拟机的一个目录，我这里是/opt/install_packages--检查mysql的安装环境rpm-qa|grepmariadb--上述命令如果查询到mariadb需要先进行卸载rpm-e--nodepsmariadb-libs再检查一下安装环境此时mariadb已经删除将上传的文件解压到当前目录tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar
2024-06-27 11:25:20
245
原创 自定义排序
在Hadoop MapReduce框架中，当Mapper的输出键（Key）或者Reducer的输入及输出键上实现。此时迭代器里的是Text（Iterable<Text>），用户名，只有用户名就没有迭代的意义了。当Mapper的输出键（Key)上实现。以及构造函数，get，set方法等。接口时，框架会自动利用该接口的。接口时，框架会自动利用该接口的。重写compareTo方法。这里的Map阶段输出的键是。和map阶段输出键值一样。
2024-06-26 19:55:05
389
原创 mapreduce实现bean的序列化与反序列化
在Hadoop中，这个过程特别关键，因为数据经常需要在网络间传递（例如，从Map任务到Reduce任务），或者存储到HDFS上。在Hadoop中，当数据从网络接收或从HDFS读取后，需要通过反序列化恢复成原始的Java对象，以便程序能够进一步处理这些数据。reduce阶段的输出value类型，表示用户对象，实际上输出的是totalPrice（因为toString方法的重写）reduce阶段的输入value类型，即map阶段输出value类型，表示用户对象。reduce阶段的输出key类型，表示用户名。
2024-06-26 18:21:10
1101
原创 linux模板安装二
打开 MobaXterm配置好之前创建的虚拟机的ipping一下，看看我们的网络配置是否成功关闭NetworkManager服务(只针对本次虚拟机运行时有效)禁用NetworkManager服务禁用之后 重启网络修改主机名称为data重启一下查询防火墙状态关闭防火墙禁用防火墙。
2024-06-02 18:09:33
300
原创 linux模板安装一
这里创建一个文件夹用来存放我们虚拟机 目录为 D:\bigdata\os\data。配置我们自己的iso映像文件，我这里使用的是CentOS。根路径 不设置容量，文件系统为 ext4。0和2要设置，前面的可以不一样。点击更改适配器设置，这里应该显示已启用。容量设置为 4g 文件系统为swap。分别修改成static和yes。选择CentOS 7 64位。中自己的数字，我这里是111。将虚拟磁盘存放到刚刚的。文件系统这里选择ext4。取消勾选启用kdump。之后就可以点击完成了。
2024-06-02 16:36:57
262
原创 调用hdfs的api
创建一个项目在pom.xml中添加以下命令，用maven导入以下jar包在java目录下创建软件包，里面添加类HdfsApiClientConfiguration conf = new Configuration() 是读取本地hadoop的配置文件记得抛出异常。
2024-06-01 21:39:46
378
原创 hadoop的Windows环境准备
将windows依赖中的bin粘贴到下载的hadoop3.1.3的bin里，重复的替换就行。将里面的hadoop.dll文件复制一份到 C:\Windows\System32。PATH里配置对应的bin，将hadoop里的bin的路径添加进去。配置hadoop的环境变量，复制hadoop3.1.3的路径。其中的share太大并且用处不大，可以删除。拷贝一份 hadoop3.1.3。
2024-06-01 16:36:32
423
原创 安装分布式
在Hadoop的配置文件中，需要设置YARN ResourceManager和NodeManager应该使用的用户账户，在03的/etc/profile中加入。
2024-05-30 20:24:16
917
原创 prototype属性
简单来说，`prototype`是一个对象，用于存储共享的属性和方法，这些属性和方法可以被它的所有实例所继承。这意味着，通过构造函数创建的所有实例都可以访问到`prototype`上定义的属性和方法。3. 原型链：形成查找机制，当试图访问一个对象的属性或方法时，如果对象本身没有，JavaScript引擎会继续在其原型对象中查找，这个过程会一直延续到原型链的末端。每个JavaScript的函数都有一个`prototype`属性，该属性是一个特殊的对象，当函数作为构造函数创建新对象时，
2024-05-22 20:35:08
397
原创 校园导游咨询预习报告
本次课程设计要求协助中国大学生计算机设计大赛江苏省组委会，设计一款赛事管理系统，实现赛务相关的数据管理及信息服务，该系统能够为省级赛事管理解决以下问题：（1）能够管理各参赛队的基本信息（包含参赛队编号，参赛作品名称，参赛学校，赛事类别，参赛者，指导老师），赛事类别共11项（参见大赛官网包括增加、删除、修改参赛队伍的信息。（2）从team.txt中读取参赛队伍的基本信息，实现基于二叉排序树的查找。
2023-06-08 09:37:43
395
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人