hadoop
文章平均质量分 67
BD_ZYJ
乐观
展开
-
Centos6.6如何设置中文输入法
打开Centos系统,找到系统->属性->输入方式,如下图点击右键,点开open in Terminal 按下ctrl + 空格键,就会出现如下箭头所指这样就中文输入法就设置好了,切换就用ctrl+空格键原创 2016-08-30 19:08:16 · 957 阅读 · 0 评论 -
MapReduce实战之美国气候数据MaxTemperatureVeryYear
MapReduce实战之美国气候数据MaxTemperatureVeryYear使用的数据来自美国国家气候数据中心,首先我们要在Linux上去下载数据,打开linux终端,在终端下写入如下命令:wget -r -c fttp://ftp.ncdc.noaa.gov/pub/data/noaa/,下载数据,编写代码块,运行程序,在浏览器中查看结果状态原创 2016-10-26 00:13:57 · 1370 阅读 · 1 评论 -
大数据环境基础之Centos安装Haoop集群(4)ssh免密码登录
ssh免密码登录的配置需要在当前用户下的根目录下用命令ssh-keygen -t rsa生成公钥和秘钥用命令ls -a查看.ssh文件进入.ssh文件夹里面,用命令ls查看公钥和秘钥将公钥保存在authorized_keys文件中修改authorized_keys文件的权限使用scp命令将authorized_keys复制到从节点sl原创 2016-09-16 22:09:55 · 405 阅读 · 0 评论 -
大数据环境基础之Centos安装Haoop集群(5)安装hadoop集群
安装hadoop集群原创 2016-09-16 22:13:56 · 780 阅读 · 0 评论 -
Centos初学者需要会的几种命令(2)
查看命令帮助 指令:man空格参数例如查看mv用法说明按q退回到终端说明该指令就是移动文件或文件夹的指令,只是参数不同而已或者是输入mv --help也能够查出mv指令的用法为了有时候显示权限不够,或者一些文件看不全,所以我习惯切换到超级用户root来操作which +指令 能够看到指令的路径接下来我们验证一下,我们跳到根目录用ls查看根原创 2016-09-04 16:50:16 · 861 阅读 · 0 评论 -
大数据环境基础之Centos安装Haoop集群(3)在CentOS上安装eclipse
我下载的版本是eclipse-jee-juno-SR2-linux-gtk-x86_64.tar,采用WinSCP工具传Linux桌面,至于怎么传,我在上一篇写安装jdk的时候详细说过了这里就不说了。打开终端 输入命令su切换到root用户,使用cd ../../../跳到根路径下用命令 cd usr 跳到usr路径下 ,然后mkdir eclipses 创建文件夹,用原创 2016-09-03 13:54:18 · 622 阅读 · 0 评论 -
大数据环境基础之Centos安装Haoop集群(2)在CentOS上安装jdk
给每台主机上安装jdk,需要把jdk-7u71-linux-x64.gz下载好放到Linux系统中,当然我们也可以采用weget的方法直接在Linux系统中下载,也可以采用WinSCP上传。这里我就说下WinSCP上传。首先要安装好这个工具,然后开启虚拟机上的linux系统开启linux系统后网络是断开的,所以我们要开启网络。方式一:方式二:打来Linux终端 切换原创 2016-09-03 11:16:45 · 774 阅读 · 0 评论 -
大数据环境基础之Centos安装Haoop集群(1)CentOS系统配置
首先开启两个节点接下来就是打开终端了方式一:在桌面上右击,找到Open in Terminal,点击方式二:这样终端就打开了,如下图了接下来就正式开始配置系统环境1.配置网络我们能看到右端的电脑有个红叉,说明网络是断开的,其实我们可以点进去,然后点击System eth0连接网络,但是为了配置windows能和主从节点组成小型的局域网,原创 2016-09-01 10:42:14 · 956 阅读 · 1 评论 -
大数据环境基础之Centos6.6安装
初学者安装Centos6.6 64位过程,首先安装虚拟机,我这里安装的是VMwareworkstation_full_12.1.0,装好后的的界面点击创建虚拟机后出现如下界面作为初学者,我建议选择典型安装,点击下一步点击下一步选中Linux和对应的Centos我的是64位所以选择Centos 64,接下来点击下一步给虚拟机取名字,下面是选择安装虚原创 2016-08-30 14:25:41 · 1574 阅读 · 0 评论 -
Centos初学者需要会的几种命令
首先第一次打开系统,右键点击open in Terminal,切换到终端窗口这是普通用户模式,如果我们要切换到root最高权限模式,应该输入su,然后会提示你输入密码,要注意的是密码是不会显示的,所以只能凭自己的感觉输入。这样普通用户就可以切换到root,暂时拥有最高权限了,那么问题来了,普通用户和普通用户怎么切换呢,然而又出现了一个问题,一般是只有一个用户,我们如何实现添加另原创 2016-08-30 22:18:43 · 8782 阅读 · 0 评论 -
MapReduce实战之WordCount
MapReduce实战之WordCount步骤:打开eclipse,新建一个WordCount的java project工程,写WordMapper类继承于Mapper抽象类,覆写map函数,写WordReducer类继承于Reducer,覆写reduce函数,最后写一个场景调用类,调用WordMapper和Reducer类 WordMapper类 等原创 2016-10-19 17:03:50 · 1519 阅读 · 0 评论