mhw666的博客

Hadoop-HDFSHDFS伪分布式集群搭建步骤一、配置免密登录ssh-keygen -t rsa一句话回车到底ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01跟随提示进行，一般需要yes确认之后输入一次密码就成功了二、上传jdk和hadoop压缩包可以使用ftp或者使用命令rzyum install lrzsz -y三、解压jd...

以eclipse为例搭建Hadoop外部客户端搭建外部客户端准备工作在所有工作之前准备好你的window版的hadoop压缩包，并解压注意：不要压缩到包含中文的路径下！！！压缩之后的目录如下备用。。。然后启动你虚拟机中的伪分布式的hadoop集群一、配置环境变量① 配置jdk环境变量变量值为jdk安装目录然后配置PATH中的jdk环境变量如下图所示配置② 配置h...

Idea的安装首先你要先准备好Idea的安装包然后自行解决安装。Idea的操作配置Maven选择File下面Settings找到maven节点，配置图中圈中的三个配置，找到本地maven包路径，和maven依赖包配置依赖jar包右键项目，选择Open Module Settings选择依赖jar包的路径添加进去更新pom.xml文件右键点击pom.xmlId...

导入数据：1、`load data local inpath '/root/tes.txt' into table test.usr;` 将本地的数据导入到hive中2、`load data inpath 'hdfs://node01:9000/user/tes.txt' into table test.te;` 从hdfs集群导入数据LOAD DATA命令，可分为LOAD DAT...

Spark Streaming整合flume实战flume作为日志实时采集的框架，可以与SparkStreaming实时处理框进行对接，flume实时产生数据，sparkStreaming做实时处理。Spark Streaming对接FlumeNG有两种方式，一种是FlumeNG将消息Push推给Spark Streaming，还有一种是Spark Streaming从flume 中Poll拉...