大数据
文章平均质量分 62
rainbow1310
这个作者很懒,什么都没留下…
展开
-
初识HDFS
1、创建user文件夹hadoop -mkdir /user2、显示目录下所有文件夹和文件hadoop fs -ls #显示所有的文件hadoop fs -ls -R #显示所有文件夹和文件3、本地文件系统与HDFSecho "this is a test.">>test.txt #创建一个test.txtcat test.txt #通过cat检查文件并查看内容hadoop fs...原创 2018-04-26 16:40:08 · 123 阅读 · 0 评论 -
CentOs下安装python
仅以记录悲桑的装软件的一天。1、安装Python IDEL参考链接:点击打开链接通过sudo yum install python-tools成功安装上Python IDEL2、安装 Python相关包首先试想利用pip来进行相关包的安装。参考链接:点击打开链接 点击打开链接 点击打开链接1、首先安装epel扩展源:sudo yum ...原创 2018-04-27 20:11:31 · 151 阅读 · 0 评论 -
伪分布式部署(VM9+Centos7+Hadoop1.0.4)一
一、VMware安装Centos7参考链接:点击打开链接 点击打开链接 点击打开链接原创 2018-05-13 11:30:47 · 233 阅读 · 0 评论 -
伪分布式部署(VM9+Centos7+Hadoop1.0.4)二
二、网络配置1、centos7和6.5目录不同(6.5里的目录为ifcfg-eth0)2、3、虚拟机网络编辑器查看网关地址4、更改配置(两种配置方法)vi /etc/sysconfig/network-scripts/ifcfg-ens335、重启网络6、重点!!一定要在虚拟机设置中将网络改为NAT方式,否则连不上网络,也ping不通!7、在Windows下ping虚拟机参考链接:点击打开链接 ...原创 2018-05-14 11:23:16 · 134 阅读 · 0 评论 -
伪分布式部署(VM9+Centos7+Hadoop1.0.4)三
三、JDK安装1、下载 jdk-8u161-linux-x64.tar.gz刚开始下载的是jdk-8u171-linux-x64.tar.gz版本,在解压过程中提示出错。后来又下载了jre-8u161-linux-x64.tar.gz版本,到最后发现没有jps,心累。2、进入bin目录下,执行./java -version查看安装是否成功。(此处无图)3、配置环境变量sudo vi /etc/pr...原创 2018-05-16 16:55:13 · 358 阅读 · 0 评论 -
伪分布式部署(VM9+Centos7+Hadoop1.0.4)四
四、SSH配置1、关闭防火墙(与centos6命令有所不同)systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动查看防火墙状态firewall-cmd --state2、创建公私密钥ssh-keygen -t rsa3、authorized_keyscd .s...原创 2018-05-16 17:07:15 · 365 阅读 · 0 评论 -
伪分布式部署(VM9+Centos7+Hadoop1.0.4)五
五、Hadoop的安装与配置1、下载解压安装包2、配置 hadoop-env.sh进入到hadoop的hadoop文件夹cd hadoop/hadoop-2.6.0/etc/hadoop添加Java路径vi hadoop-env.sh3、配置core-site.xmlvi core-site.xml其中的master即刚刚给主机的名字4、配置hdfs-site.xmlvi hdfs-site.xm...原创 2018-05-16 17:27:36 · 756 阅读 · 0 评论