Hadoop
CLAY超
,
展开
-
hadoop集群之配置(三)
1.hadoop集群配置1.1 配置Hadoop集群主节点首先进去hadoop目录下, cd /export/servers/1.1.1修改hadoop-env.sh文件进去hadoop的文件下 cd etc/hadoop/vi hadoop-env.sh修改JAVA_HOME为以下值将JAVA_HOME指定到自己安装的jdk上/export/servers/jdk...原创 2020-04-13 22:22:21 · 1348 阅读 · 1 评论 -
hadoop集群之软件安装(二)
在安装完虚拟机 hadoop01 后(选择的是NAT模式),并克隆 hadoop02 和 hadoop03 (完整的克隆),此处我将 hadoop01 作为主服务,hadoop02 和 hadoop03 作为从服务。Linux系统网络配置配置网络的准备工作上图的点击 3 4 见下两张图点击 应用 和 确定 后,虚拟机的相关配置结束了,接着更改本地的。网络 --> 打...原创 2020-04-13 22:21:48 · 1208 阅读 · 0 评论 -
hadoop集群之虚拟机的搭建(一)
安装虚拟机是搭建hadoop集群的第一步我使用的虚拟机时VMware 15(什么版本都一样)CentOS 是6.9,(可能会有些老吧,但是安装步骤大同小异)点击获取1.创建虚拟机1.点击创建虚拟机2.选择自定义,点击下一步3.列出VMware的一些信息,点击下一步4.选择 稍后安装操作系统,点击下一步5. 选择对应的Linux系统,点击下一步(我的是CentOS 6.9...原创 2020-04-13 20:49:34 · 2187 阅读 · 0 评论 -
Shell定时采集数据到HDFS
1.配置环境变量1.1 配置Java环境变量1.2 配置hadoop环境变量2.准备日志存放目录和待上传文件3.设置日志文件上传的路径4.实现文件的上传原创 2020-03-12 22:03:30 · 3081 阅读 · 0 评论 -
解决Hadoop集群中(主,从)节点上无datanode的问题
1.关闭集群stop-all.sh2.删除日志和临时文件进入hadoop的根目录删除logs和tmprm -rf logsrm -rf tmp建立logs和tmpmkdir logsmkdir tmp6原创 2020-03-12 16:35:19 · 8633 阅读 · 9 评论 -
Hadoop集群-单词统计
单词统计1.图解2.export下建立一个data目录mkdir -p /export/datacd /export/datavi word.txt3.在HDFS 创建文件夹hadoop fs -mkdir -p /wordcount/input4.将export/data/word.txt的文件 上传到HDFS的input文件夹中Hadoop fs -put /e...原创 2020-03-02 00:16:19 · 548 阅读 · 0 评论