Hadoop学习
Mr·eight
这个作者很懒,什么都没留下…
展开
-
虚拟机搭建后以后没有ifconfig命令的解决办法
在我自己的虚拟机搭建起来后,想用Windows的工具去连接的时候,准备好好多东西要做的时候,却发现没有IP地址,我。。。。。似乎有点崩溃。。。。。。。。。。。。。。。。。。。。。。那现在我就要搞定这个问题:一、使用语句:cd /etc/sysconfig/network-scripts/二、使用语句vi ifcfg-eno16777736查看你的ifcfg-eno16777736这个文件(...原创 2019-04-04 16:42:02 · 15229 阅读 · 5 评论 -
Tomcat的安装
Tomcat的安装()下载tomcat-8.5.40,到官网上下()安装tomcat1)、上传tomcat到/tools目录下2)、解压:tar -zvxf apache-tomcat-8.5.40.tar.gz -C /training/3)、配置环境变量 vi ~/.bash_profile#tomcatexport PATH=$PATH:/training/apache-tom...原创 2019-08-27 16:16:01 · 83 阅读 · 1 评论 -
Nginx安装部署
Nginx安装部署(注意:因我们虚拟机使用的是x86_64 64为的CentOS7操作系统作为服务器,需要使用源码编译方式)()安装,编写nginx的脚本文件nginx_install.sh ,执行 vi nginx_install.sh,添加如下信息:#!/bin/bashyum install -y gcc#install pcreyum install -y pcre-stati...原创 2019-08-27 16:15:03 · 113 阅读 · 0 评论 -
安装Flume日志采集组件
安装Flume日志采集组件a)、安装1).上传flume到/tools目录下2).解压tar -zvxf apache-flume-1.7.0-bin.tar.gz -C /training/3).环境变量export FLUME_HOME=/training/apache-flume-1.7.0-binexport PATH=PATH:PATH:PATH:FLUME_HOME/bi...原创 2019-08-27 16:10:42 · 182 阅读 · 0 评论 -
Spark安装部署
Spark安装部署 准备工作:安装Linux、JDK等等 解压:tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C ~/training/ 由于Spark的脚本命令和Hadoop有冲突,只设置一个即可(不能同时设置) 配置文件:/root/training/spark-2.1.0-bin-hadoop2.7/conf/spark...原创 2019-08-27 16:06:43 · 92 阅读 · 0 评论 -
HBase的安装配置
HBase的安装配置1、本地模式(不需要HDFS(先stop-all.sh),保存在Linux的文件系统)1)事先需要在/training/hbase-1.3.1目录下创建data目录: mkdir /training/hbase-1.3.1/data2)进入到/training/hbase-1.3.1/conf目录下,(1)vi hbase-env.sh,修改如下信息:export J...原创 2019-08-27 16:00:44 · 122 阅读 · 0 评论 -
Hadoop安装前的准备工作
一、Hadoop安装前的准备工作 1、安装centOS操作系统(参考发的大数据工具中的Linux文件夹下的安装文档) 2、使用下发的大数据工具中的SSH_SFTP工具进入系统中,新建两个目录 mkdir /tools ---->用于存放软件包 mkdir /training ---->用于安装软件 3、安装JDK (*) ...转载 2019-08-27 15:58:38 · 982 阅读 · 0 评论 -
解决Windows运行Hadoop时报错:Could not locate executablenull\bin\winutils.exe in the Hadoop binaries
在我们编写好RPC协议代码后,准备在Windows上运行,可是有的人会报类似错:Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries....原创 2019-04-08 20:37:15 · 2794 阅读 · 2 评论 -
编写Java代码实现MapReduce词汇统计
WordCount思想:通过Mapper对文档内部字段进行分词,再由Reduce进行相同词汇进行汇总、统计(理解可能有误,还望路过的大神指正)MyMapper:package com.alvis.workcount;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache...原创 2019-04-04 22:15:21 · 1518 阅读 · 0 评论 -
编写Java代码对HDFS进行增删改查操作
import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import org.apache.commons.compress.utils.IOUtils;import org.apache.hadoop.conf.Configuration;i...原创 2019-04-04 21:45:22 · 1119 阅读 · 0 评论 -
虚拟机搭建步骤
打开虚拟机,并使用SecureCRTPortable工具连接虚拟机后,在~目录下创建tools和training两个子目录,tools用来存储要使用的工具压缩包,training用来存储安装的工具;使用SecureFXPortable将jdk-8u171-linux-x64.tar.gz和hadoop-2.7.3.tar.gz上传到tools目录下;进入到tools目录下运行此语句:tar -...原创 2019-04-04 17:04:04 · 248 阅读 · 0 评论 -
Zookeeper安装部署
一、搭建ZooKeeper伪分布环境(单机模式)0)tar -zxvf zookeeper-3.4.5.tar.gz -C ~/training/1)环境变量 export ZOOKEEPER_HOME=/training/zookeeper-3.4.5 export PATH=$ZOOKEEPER_HOME/bin:$PATH 2)进入到/training/zookeeper-3...原创 2019-09-08 11:59:21 · 102 阅读 · 0 评论