冬语的专栏

记录工作中获得的体会,和大家一起分享

IDEA中运行Spark

   IDEA中运行Spark有两种方式本地模式和远程模式。 1.本地模式    本地Spark程序调试需要使用local提交模式,即将本机当做运行环境,Master和Worker都为本机。 Maven依赖 <?xml version="1.0&...

2018-12-05 14:34:50

阅读数:18

评论数:0

Spark-Shell运行任务

文章目录1.Spark-Shell 交互式编程1.1 启动命令1.2 Spark-Shell中运行wordcount2. spark-submit提交Job    开始本篇博客之前,请先准备好环境,参见【上一篇 Spark集群部署】 1.Spark-Shell 交互式编程 1.1 启动命令 bin...

2018-12-05 14:14:26

阅读数:21

评论数:0

Spark集群部署

文章目录1.集群角色2.安装部署 1.集群角色    从物理部署层面上来看,Spark主要分为两种类型的节点,Master节点和Worker节点,Master节点主要运行集群管理器的中心化部分,所承载的作用是分配Application到Worker节点,维护Worker节点,Driver,Appl...

2018-12-05 10:59:10

阅读数:16

评论数:0

Spark概述

文章目录1.什么是spark2.Spark特点3. Spark用途 1.什么是spark    Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。项目...

2018-12-05 09:54:35

阅读数:13

评论数:0

大数据学习之路

目录   一、发展趋势 二、使用技术 三、高校课程大纲建议 一、发展趋势         大数据开启了一次重大的时代转型,正在改变我们的生活以及理解世界的方式,而更多的改变正在蓄势待发。         据估算,全球数据总量预计2020年达到44个ZB(1ZB=10亿TB=1万亿GB...

2018-11-04 20:46:39

阅读数:1526

评论数:1

ExitCodeException exitCode=-1073741515 异常解决

     在博客《通过Idea远程调试Hadoop集群》中部署环境后,有个别机器会出现ExitCodeException exi...

2018-10-15 13:38:09

阅读数:361

评论数:0

通过Idea远程调试Hadoop集群

      早期的开发中经常用eclipse远程调试Hadoop集群,近期Idea的市场占有率逐渐增加,本文介绍如何在通过Ide...

2018-09-25 17:13:21

阅读数:131

评论数:0

sqoop安装及配置

本文主要介绍sqoop安装及配置。

2017-12-07 13:19:50

阅读数:139

评论数:0

Hive基本操作

概要    Hive不存储数据,所有的CRUD都是对依赖的HDFS的操作,操作的过程是转化成MapReduce。

2017-12-07 10:45:10

阅读数:116

评论数:0

VMWare克隆CentOS虚拟机后eth0不存在

通过修改HWadd地址来解决 VMWare克隆CentOS虚拟机后eth0不存在的问题

2017-11-10 16:38:02

阅读数:270

评论数:0

windows系统通过eclipse远程MapReduce服务器

本文主要介绍在windows系统中通过eclipse编写MapReduce程序,远程访问Hadoop服务器。前提是Linux服务器中已经部署成功hadoop环境。

2017-08-09 22:03:11

阅读数:506

评论数:0

定时自动执行Sqoop及Hive命令

上一篇文章中介绍了手动输入命令方式,单步执行Sqoop及Hive命令《通过sqoop进行mysql与hive的导入导出》。本文主要介绍通过编写shell命令及定时执行(crontab)方式,定时自动执行Sqoop及Hive命令。

2017-07-26 15:58:40

阅读数:3441

评论数:0

通过sqoop进行mysql与hive的导入导出

本文主要介绍通过sqoop进行mysql与hive的导入导出。 1. 关系型数据库mysql表存取的结果,导出到hive; 2. 运用hive对结果进行清洗过滤,并将结果输出到HDFS; 3. 将HDFS的结果再次导出到关系型数据库mysql。

2017-07-12 17:23:42

阅读数:3605

评论数:0

centOS中安装MySql及Hive

本文主要介绍在centOS中安装hive。

2017-05-23 09:19:20

阅读数:1420

评论数:0

centOS中安装hadoop伪分布式(二)

承接上一篇文章 centOS中安装hadoop伪分布式(一),继续配置hadoop

2017-02-27 10:07:03

阅读数:268

评论数:0

centOS中安装hadoop伪分布式(一)

本文主要介绍在centOS6.8中安装Hadoop及配置hadoop伪分布式。

2017-02-27 09:44:14

阅读数:306

评论数:0

mapred.YARNRunner: Job jar is not present. Not adding any jar to the list of resources.

mapred.YARNRunner: Job jar is not present. Not adding any jar to the list of resources.解决方案

2017-02-04 14:05:35

阅读数:1483

评论数:0

An internal error occurred during: "Map/Reduce location status updater". java.lang.NullPointer

本文主要介绍如何解决在应用hadoop-eclipse-plugin插件时,出现了【An internal error occurred during: "Map/Reduce location status updater". java.lang.NullPointerExc...

2017-01-25 09:55:10

阅读数:8235

评论数:9

提示
确定要删除当前文章?
取消 删除
关闭
关闭