- 博客(6)
- 收藏
- 关注
RSS订阅原创 实现MapReduce程序完成行统计
运行LineCount程序命令:bin/hadoop jar /home/hadoop/mapreduce/MapReduce.jar com.learning.mapreduce.LineCount /input /output/linecount。xftp连接master服务器，在右框打开/home/hadoop/mapreduce目录，左框打开eclipse-workspace/MapReduce/target目录，将左框的MapReduce.jar文件复制粘贴到右框。
2024-10-09 22:52:16
1039
原创 hive的安装配置和简单使用
本文用到了hadoop2.7.4，xshell,xftp，hive2.3.9压缩包，驱动。一个主机waq,两个从机s1,s2。本文仅供参考，请根据自己的实际情况进行修改。
2024-09-09 07:00:00
1125
原创 3.Hadoop环境搭建之Hadoop的安装和配置
创建目录name:mkdir /home/hadoop/hadoop-2.7.4/hdfs/name。创建目录data:mkdir /home/hadoop/hadoop-2.7.4/hdfs/data。到指定目录：cd /home/hadoop/hadoop-2.7.4/etc/hadoop。到指定目录：cd /home/hadoop/hadoop-2.7.4/etc/hadoop。创建目录hdfs:mkdir /home/hadoop/hadoop-2.7.4/hdfs。安装包需要提前准备好。
2024-09-08 19:00:00
1166
原创 2.Hadoop环境搭建之安装和配置jdk环境
图标新建会话属性，输入名称，主机（填对应的主机ip地址）->点左边框的“用户身份验证”(另外两个操作相同)。右栏中在/user/lib目录下新建java文件夹（我的lib目录下之前就有java 文件夹，就不再建了）。此操作之后，要在另外两台虚拟机上配置/etc/profile文件。进入java目录cd /usr/lib/java。在/usr/lib目录下：cd /usr/lib。编辑文件：vim /etc/profile。编辑文件：vim /etc/profile。传送文件到s1和s2：（已传过）
2024-09-07 14:48:10
447
原创 1.Hadoop环境搭建之配置虚拟机环境
(1)使用如下命令可以为本服务器生成公钥(id_dsa.pub)和私钥(Id_dsa),要求输入passphrased的时候直接敲回车：ssh-keygen -t dsa -f ~/.ssh/id_dsa。（3）使用scp命令，将主服务器的公钥文件id_dsa.pub复制到从服务器上，并命令为server-1.pub（此文件名可以自己随意起）scp ~/.ssh/id_dsa.pub。输入此命令后，会要求输入s1服务器的root账号密码，输入密码即可。我这里添加了三个，第一个主机，后两个从机。
2024-09-07 14:29:42
898
原创 在Anaconda安装CPU版本的pytorch和tensorflow
新手上路，自己研究下载的过程，欢迎大家多多提出意见。建议先看看我出现的问题，避雷一下。这里不讲解如何安装anaconda,默认anaconda是已经安装好可以正常使用的。在Anaconda Prompt上进行操作。
2024-09-06 23:02:33
1054
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人