Hadoop
还是那个同伟伟
百万代码中取bug首级
展开
-
Hadoop命令
1.查看hdfs/afs中某个文件是包含某个字符串如下:查看afs文件中是否包含 "350004:"这个字符串taihuhadoop fs -cat afs://aaaa.com:9902/user/aaaaa.libsvm | grep 350004:2.将文件上传到集群taihuhadoop fs -put /home/project/predict_need.csv afs://aaaa.com:9902/user/samples/idmap_bank_20231116.csv原创 2024-09-09 10:17:27 · 374 阅读 · 0 评论 -
7.Hadoop的学习(Hadoop的配置(伪分布式的搭建)-3(启动守护进程))
1.经过前面的两节,我们就可以使用HDFS文件系统了2.首先要对文件系统进行格式化: 执行格式化的命令: hadoop namenode -format3. 启动守护进程 进入到 ssh localhost 启动HDFS: start-dfs.sh --config $HADOOP_INSTALL/etc/hadoop_pseudo 启动YAR...原创 2018-10-10 17:03:02 · 368 阅读 · 0 评论 -
6.Hadoop的学习(Hadoop的配置(伪分布式的搭建)-2(ssh登录远程主机,无口令提示))
1.安装ssh 输入命令: which ssh 会发现Ubuntu已经自带了ssh,但是这个是不行的,我们还是要从新下载的。 执行命令:sudo apt-get install ssh 安装完成之后,输入命令:which ssh-keygen (密钥)ssh :SSH是一种网络协议,用于计算机之间的加密登录........访问的一个加密 , 会...原创 2018-10-09 16:08:49 · 328 阅读 · 0 评论 -
5.Hadoop的学习(Hadoop的配置(伪分布式的搭建)-1)
1.Hadoop的配置 独立模式、伪分布式、完全分布式2.安装完之后就已经是独立模式了。 (1)在独立模式之下是没有守护进程的,可以输入命令 jps 会发现只有一个Jps,没有其他守护进程。 (2) Hadoop里面的命令和Ubuntu里面差不多,只是有点区别: 命令 : hadoop fs -ls / :查看Hadoop的根目录。3.伪分...原创 2018-10-08 21:55:57 · 178 阅读 · 0 评论 -
4.Hadoop的学习(Hadoop的安装及环境变量的配置)
1.解压Hadoop压缩包: 指令:tar -xvzf hadoop压缩包名字2.和安装jdk的一样:把Hadoop安装到usr下面的soft文件夹里面。 进入到在自己解压的文件夹下 执行mv jdk-9.0.1 /usr/soft/ 移动Hadoop到soft里面3.和配置jdk一样进入到ect里面:执行:sudo nano environment 添加...原创 2018-10-08 21:44:39 · 197 阅读 · 0 评论 -
3.Hadoop的学习(ubuntu安装配置jdk)
1.将jdk压缩包解压 执行命令:tar -xzvf 压缩包名2.把JDK安装到usr下面的soft文件夹里面。(注意,本来没有这个文件夹,需要自己去创建) 并且修改soft的文件夹权限: sudo chmod a+w soft/ (要带上root用户权限) 进入到在自己解压的文件夹下 执行mv jdk-9.0.1 /usr/soft/ 移动JDK到s...原创 2018-10-08 17:46:13 · 510 阅读 · 0 评论 -
用Xshell连接ubuntu虚拟机
1.进入到root权限下判断ssh服务是否已经安装:ssh localhost 报出了Connetion refused。 这个就表示没有还没有安装SSH。2.关闭防火墙,执行 ufw disable3.更新apt-get 执行apt-get update4.更新之后,执行 apt-get install openssh-server5.安装完成之后,执行命令ps -e...原创 2018-10-08 16:48:06 · 230 阅读 · 0 评论 -
2.Hadoop的学习(Ubuntu的目录及权限)
1. Linux里面没有盘符 2. 目录:/: 根目录 可执行文件: /bin /sbin /boot :引导/etc :配置目录/mnt: 挂载目录(mount)/home: 主目录 (放的用户的个人数据) /dev device 设备/usr : 系统资源文件夹 (unix system resource)3. ...原创 2018-09-28 21:52:50 · 220 阅读 · 0 评论 -
1.Hadoop的学习(Linux的基础命令)
1.设置服务器版的字体大小:输入命令:sudo dpkg-reconfigure console-setup。 选择UTF-8,一般情况下点击latin1 and Latin5......, 然后就可以设置字体大小了。2.Linux命令: cd / :进入到根目录 ls -al :显示所有列表信息 clear :清屏 p...原创 2018-09-28 21:13:36 · 477 阅读 · 0 评论 -
8.Hadoop的学习(Hadoop的配置--搭建完全分布式)
搭建伪分布式请查看本博客https://blog.csdn.net/wei18791957243 里面的三个搭建伪分布式的博客前提是伪分布式可以正常启动。 点开虚拟机上边的菜单栏中的虚拟机内的快照功能。(快照:可以及时保存当前操作,也就是保存这个节点,等需要的话可以让系统恢复到这个节点上。) 进入操作系统后:(cd /etc)查看本机名(cat hostname)修改本机名(sudo...原创 2018-10-12 12:12:18 · 253 阅读 · 1 评论