冬语的专栏

记录工作中获得的体会,和大家一起分享

NoSuchMethodException ArrayWritable.<init>() 解决

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;在进行hadoop 的map reduce时,有时候会用ArrayWriteable作为KeyIN,KeyOut,ValueIn,ValueOut。编译时候可以通过,但是执行的时候会抛出异常NoSu...

2019-04-20 20:00:58

阅读数 4

评论数 0

Hadoop3与Hadoop2及Spark比较

&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;2017年12月发布的Hadoop 3标志着数据科学新时代的开始。Hadoop框架是整个Hadoop生态系统的核心,其他各种库都依赖它。 &amp;n...

2019-02-18 09:04:37

阅读数 121

评论数 0

ExitCodeException exitCode=-1073741701

&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;在博客windows系统通过eclipse远程MapReduce服务器中部署环境后,有个别机器会出现ExitCodeException exitCode=-1...

2019-01-23 18:07:23

阅读数 37

评论数 0

IDEA中运行Spark

   IDEA中运行Spark有两种方式本地模式和远程模式。 1.本地模式    本地Spark程序调试需要使用local提交模式,即将本机当做运行环境,Master和Worker都为本机。 Maven依赖 &amp;lt;?xml version=&quot;1.0&...

2018-12-05 14:34:50

阅读数 167

评论数 0

Spark-Shell运行任务

文章目录1.Spark-Shell 交互式编程1.1 启动命令1.2 Spark-Shell中运行wordcount2. spark-submit提交Job    开始本篇博客之前,请先准备好环境,参见【上一篇 Spark集群部署】 1.Spark-Shell 交互式编程 1.1 启动命令 bin...

2018-12-05 14:14:26

阅读数 164

评论数 0

Spark集群部署

文章目录1.集群角色2.安装部署 1.集群角色    从物理部署层面上来看,Spark主要分为两种类型的节点,Master节点和Worker节点,Master节点主要运行集群管理器的中心化部分,所承载的作用是分配Application到Worker节点,维护Worker节点,Driver,Appl...

2018-12-05 10:59:10

阅读数 39

评论数 0

Spark概述

文章目录1.什么是spark2.Spark特点3. Spark用途 1.什么是spark    Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。项目...

2018-12-05 09:54:35

阅读数 35

评论数 0

大数据学习之路

目录   一、发展趋势 二、使用技术 三、高校课程大纲建议 一、发展趋势         大数据开启了一次重大的时代转型,正在改变我们的生活以及理解世界的方式,而更多的改变正在蓄势待发。         据估算,全球数据总量预计2020年达到44个ZB(1ZB=10亿TB=1万亿GB...

2018-11-04 20:46:39

阅读数 1611

评论数 1

ExitCodeException exitCode=-1073741515 异常解决

&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;在博客《通过Idea远程调试Hadoop集群》中部署环境后,有个别机器会出现ExitCodeException exi...

2018-10-15 13:38:09

阅读数 1226

评论数 3

通过Idea远程调试Hadoop集群

&amp;amp;nbsp; &amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;早期的开发中经常用eclipse远程调试Hadoop集群,近期Idea的市场占有率逐渐增加,本文介绍如何在通过Ide...

2018-09-25 17:13:21

阅读数 470

评论数 1

sqoop安装及配置

本文主要介绍sqoop安装及配置。

2017-12-07 13:19:50

阅读数 202

评论数 0

Hive基本操作

概要    Hive不存储数据,所有的CRUD都是对依赖的HDFS的操作,操作的过程是转化成MapReduce。

2017-12-07 10:45:10

阅读数 132

评论数 0

VMWare克隆CentOS虚拟机后eth0不存在

通过修改HWadd地址来解决 VMWare克隆CentOS虚拟机后eth0不存在的问题

2017-11-10 16:38:02

阅读数 289

评论数 0

windows系统通过eclipse远程MapReduce服务器

本文主要介绍在windows系统中通过eclipse编写MapReduce程序,远程访问Hadoop服务器。前提是Linux服务器中已经部署成功hadoop环境。

2017-08-09 22:03:11

阅读数 561

评论数 0

定时自动执行Sqoop及Hive命令

上一篇文章中介绍了手动输入命令方式,单步执行Sqoop及Hive命令《通过sqoop进行mysql与hive的导入导出》。本文主要介绍通过编写shell命令及定时执行(crontab)方式,定时自动执行Sqoop及Hive命令。

2017-07-26 15:58:40

阅读数 4440

评论数 0

通过sqoop进行mysql与hive的导入导出

本文主要介绍通过sqoop进行mysql与hive的导入导出。 1. 关系型数据库mysql表存取的结果,导出到hive; 2. 运用hive对结果进行清洗过滤,并将结果输出到HDFS; 3. 将HDFS的结果再次导出到关系型数据库mysql。

2017-07-12 17:23:42

阅读数 4003

评论数 0

centOS中安装MySql及Hive

本文主要介绍在centOS中安装hive。

2017-05-23 09:19:20

阅读数 1510

评论数 0

centOS中安装hadoop伪分布式(二)

承接上一篇文章 centOS中安装hadoop伪分布式(一),继续配置hadoop

2017-02-27 10:07:03

阅读数 277

评论数 0

centOS中安装hadoop伪分布式(一)

本文主要介绍在centOS6.8中安装Hadoop及配置hadoop伪分布式。

2017-02-27 09:44:14

阅读数 320

评论数 0

mapred.YARNRunner: Job jar is not present. Not adding any jar to the list of resources.

mapred.YARNRunner: Job jar is not present. Not adding any jar to the list of resources.解决方案

2017-02-04 14:05:35

阅读数 1622

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭