邹涛的博客

You got a dream, you gotta protect it. 如果你有梦想的话,就要去捍卫它。

MapReduce读取Mysql统计分析再将结果写入mysql中供动态可视化

MapReduce读取Mysql统计分析再将结果写入mysql中供动态可视化 1.前言 最近做一个小项目,其中一个功能是,使用hadoop的MapReduce程序来读取Mysql数据库的某表数据,然后MR进行类别统计,然后再将统计结果写入mysql的另一张表中,最后使用jsp页面调用Echarts...

2019-02-14 21:22:46

阅读数 1770

评论数 2

eclipse安装hadoop插件及DFS文件管理

eclipse安装hadoop插件及DFS文件管理 1.下载并安装eclipse2.https://github.com/winghc/hadoop2x-eclipse-plugin3.下载插件到eclipse的插件目录  4.配置hadoop安装目录&amp...

2018-07-17 16:08:58

阅读数 1096

评论数 0

设置CentOS6.9获取动态ip或配置静态IP地址以及无法ping通问题

本例中以CentOS 6.9举例说明如何设置Linux开机自动获取IP地址和设置固定IP地址。并且解决配置了静态ip之后还是无法ping通问题。 自动获取动态IP地址 1.输入“ip addr”并按...

2018-07-16 11:24:15

阅读数 2198

评论数 0

Windows环境下执行hadoop命令出现Error: JAVA_HOME is incorrectly set Please update D:\SoftWare\hadoop-2.6.0\con

Windows环境下执行hadoop命令出现Error: JAVA_HOME is incorrectly set Please update D:\SoftWare\hadoop-2.6.0\conf\hadoop-env.cmd错误的解决办法(图文) 1.前言 在本地安装Hadoop的时候...

2018-07-15 11:05:18

阅读数 1885

评论数 2

Hadoop实战系列之MapReduce 分析 Youtube视频数据

Hadoop实战系列之MapReduce 分析 Youtube视频数据 一、实战介绍 MapReduce 是 Hadoop 的计算框架。 在运行一个 MR 程序时,任务过程被分为两个阶段:Map 阶段和 Reduce 阶段,每个阶段都是用键值对作为输入和输出。 本文知识点: eclips...

2018-07-03 17:10:00

阅读数 1033

评论数 4

hadoop开发之eclipse连接hdfs文件正常,运行程序却拒绝连接报错问题

eclipse可以连接显示hdfs文件,但运行程序时却提示拒绝连接 报错如下: log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). ...

2018-07-03 15:54:36

阅读数 914

评论数 1

最新Hadoop大数据学习路线分析及Hadoop生态架构技术

最新Hadoop大数据学习路线分析及Hadoop生态架构技术简介 关于Hadoop, 本文主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括...

2018-07-03 11:07:59

阅读数 306

评论数 0

Hadoop实战之mapreduce的WordCount统计单词数目

一.Hadoop实战之WordCount统计单词数目 1.前言: 上一篇文章MapReducer项目结构分析 分析了hadoop的计算模型MapReducer的项目结构,下面就仿照先做一个WordCount统计单词数目的实战,便于理解。 参考本例子前: 1.需要确保搭建好了hadoop...

2018-05-06 18:19:23

阅读数 1546

评论数 6

Hadoop实战之MapReducer项目结构分析

一.MapReducer项目结构分析 1.前言 参考本例子前: 1.需要确保搭建好了hadoop集群环境。 2.安装了eclipse开发hadoop的环境。 3.这是关于MapReducer中的Mapper、Reduce、Job三个类的学习分析。 2.hadoop的MapReducer...

2018-05-06 17:59:22

阅读数 690

评论数 0

hadoop运行计算pi或running job卡住或 map 0% reduce 0%

1.出现MapReduce任务运行到running job卡住 一:如下异常: Starting Job 16/06/30 01:15:34 INFO client.RMProxy: Connecting to ResourceMan...

2018-04-15 18:00:28

阅读数 975

评论数 0

hadoop集群之关闭CentOS6.9系统的防火墙

在搭建hadoop集群环境或者是使用hadoop计算的时候,往往会因为开启了系统的防火墙或者是没有关闭导致hadoop报错。 以下为开启和关闭CentOS6.9系统下的防火墙操作。 这里注意,一些教程里面的操作命令是针对不同操作系统和版本的。 (一) 临时性关闭防火墙 这是针对当前...

2018-04-13 13:57:22

阅读数 441

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭