- 博客(7)
- 收藏
- 关注
RSS订阅原创 Linux centos7 Hive的安装与环境配置
修改hive-site.xml文件。通过xftp将文件传到。把hive-site.xml文件上传到Hive安装目录的conf目录下。使用Apache的工具schematool初始化metastore。在 /etc/profile 文件中添加Hive的环境变量。上传MySQL驱动到Hive安装目录的lib目录下。替换Hive的guava-27.0-jre.jar。打开 hive-site.xml，改写此段代码。把安装包上传到 /opt 目录下。/usr/local/ 目录。启动hadoop、启动hive。
2022-11-29 21:21:16
734
原创 Linux centos7 MySQL安装！附 链接+教程+资源！详细步骤
（我选的是 mysql-community-server.x86_64 版本）（会出现不同版本的mysql安装包，选择自己需要的版本进行安装）出现上述提示原因是Mysql的GPG升级了，需要重新获取。2.在master节点上下载mysql8.x的yum源。不下载后面步骤容易报错。执行下列代码，再次进行服务安装。3.加载mysql yum源。4.搜索mysql源是否加载。6.获取密码并启动mysql。（by后‘’内为修改后密码）8.修改root账户权限。1.下载wget命令。5.下载mysql包。
2022-11-23 20:12:38
346
原创 MapReduce 案例3 SortByCount 详细步骤：Mapper、Reducer、Main、打包运行
2.修改pom.xml，添加dependencies。3.参考WordCount程序，修改Mapper;5.直接复制Main函数，并做相应修改;4.直接复制Reducer程序；1.在集群中创建input文件夹。1.创建MAVEN文件。10.查看运行结果;
2022-11-23 15:37:28
561
原创 linux centos7 hadoop & yarn的调度模式以及参数配置 Yarn的资源调度器默认CapacityScheduler默认只有一个root.default队列 调整Yarn资源队列
复制dev队列属性，并修改为prod队列，修改其capacity为60，maxiu-capacity 为80； 修改default队人列配置为dev队列，并修改其capacity为40，maxium-capacity 为60；Yarn的资源调度器默认使用CapacityScheduler，但是默认只有一个root.default队列。添加dev,prod 队列，删除default队列；第五-七个property。 重启YARN集群；第八-十二个property。
2022-11-22 19:48:22
794
原创 MapReduce 案例 WordCount 详细步骤
上传WordCount.java文件 or WordCount.jar文件。（value中的内容=通过hadoop classpath 查找出的路径）进入sbin文件夹中 cd /opt/hadoop-3.1.4/sbin。将wc00中的文件(file001.txt)上传到output2中。上传WordCount.java文件后--按步骤进行。上传WordCount.jar文件后--跳过打包步骤。查看集群中命令 hdfs dfs -ls /9.在集群中创建文件夹并将文件上传。6.创建、编辑 文件。
2022-11-21 21:35:37
508
原创 centos7 Hadoop的下载、配置、格式化、启动、环境变量的修改与关闭
（在hadoop-3.1.4 de sbin目录中）通过 echo $JAVA_HOME 获取路径。1.通过xftp下载Hadoop压缩包。再重复2步骤，通过jps查看进程。2.进入xshell解压。宿主机上修改，host文件。在master上操作。
2022-11-08 19:16:18
860
原创 VMware centos7 网络配置 +Java环境配置
命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33。命令： cd /etc/sysconfig/network-scripts/hostnamectl set-hostname +新主机名称。ssh-keygen -t rsa + 三次回车。克隆虚拟机并设置IP。
2022-11-06 15:14:41
234
1
云计算与大数据 MapReduce实验 WordCount.jar
2022-11-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人