夜下探戈

Learn and live .

spark2.4.2编译(mac系统下)

编译前所注意事项: 首先,尽可能阅读官网编译文档 Building Apache Spark 源码下载推荐git clone 或者 wget 。 编译前确保网络良好。 下载所需要的软件(注意版本) · Spark-2.4.2.tgz · Hadoop-2.7.6 · Scala-2.11.12 ·...

2019-05-02 00:14:38

阅读数 37

评论数 0

spark on yarn 运行报错 prelaunch.err.

错误代码如下: [2019-03-28 17:50:04.728]Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : /hadoop/...

2019-03-28 17:55:21

阅读数 114

评论数 1

Spark架构及原理

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势: Spark提供了一个...

2018-04-25 15:46:10

阅读数 273

评论数 0

RDD使用

RDD操作 RDD的创建方式 RDD的两种操作算子 RDD操作 RDD的创建方式 从Hadoop文件系统(或与Hadoop兼容的其他持久化存储系统,如Hive、Cassandra、HBase)输入(例如HDFS)创建。 从父RDD转换得到新RDD。 通过para...

2018-04-25 15:44:16

阅读数 128

评论数 0

RDD原理

RDD概念 RDD的内部属性 一组分片(Partition),即数据集的基本组成单位 计算每个分片的函数 RDD之间的依赖关系 一个Partitioner,即RDD的分片函数 分区列表,存储存取每个Partition的优先位置(preferred location) 可选属性 可选属性 ...

2018-04-25 15:43:53

阅读数 405

评论数 0

Spark架构及原理

开发角度 原则一:避免创建重复的RDD 原则二:尽可能用同一个RDD 原则三:对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略 MEMORY_ONLY MEMORY_ONLY_SER MEMORY_AND_DISK_SER 不考虑:DISK_ONLY和_2后缀 原则四:尽量避免...

2018-04-25 15:43:23

阅读数 161

评论数 0

Scala实现乘法表

object HelloWorld { def main(args: Array[String]): Unit = { for (i <- 1 to 9) { for (j <- 1 to i){ print(j+...

2018-04-16 11:41:42

阅读数 176

评论数 0

HBase创建表已经存在,删除表又不存在的问题

清除Zookeeper内存数据库中的相关数据 [root@node1]# zkCli.sh [zk: localhost:2181(CONNECTED) 0] ls / [zookeeper, hadoop-ha, hbase] [zk: localhost:2181(CONNECTED)...

2018-03-31 11:23:01

阅读数 879

评论数 0

Hadoop HA 集群搭建

hadoop HA原理概述 为什么会有 hadoop HA 机制呢? HA:High Available,高可用 在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SPOF:A Single Point of Failure)。对于只有一个 NameNod...

2018-03-24 19:03:19

阅读数 159

评论数 0

wordcount 求互为好友对

package com.Practice.SameFriend2; import com.Practice.SameFriend.SameFriend; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.f...

2018-03-18 18:23:10

阅读数 65

评论数 0

wordcount 数据去重

package com.Practice.RemoveDupData; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs...

2018-03-18 17:18:38

阅读数 224

评论数 0

wordcount 求学生平均成绩

package com.Practice.AverageScores; import com.Practice.SameFriend.SameFriend; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop...

2018-03-18 16:54:47

阅读数 291

评论数 0

wordcount 学生成绩普通版

package com.Practice.StudentScores; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs...

2018-03-18 16:38:33

阅读数 100

评论数 0

hadoop wordcount求共同好友代码实现

package com.Practice.SameFriend; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Pa...

2018-03-16 22:18:00

阅读数 195

评论数 0

IDEA windows本地运行wordcount程序

第一步创建maven项目 第二步创建WordCountDemo类 package com.wordcountModel; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSyst...

2018-03-16 19:58:02

阅读数 949

评论数 17

Error: recoverUnfinalizedSegments failed for required journal

一、问题描述 HA按照规划配置好,启动后,NameNode不能正常启动。刚启动的时候 jps 看到了NameNode,但是隔了一两分钟,再看NameNode就不见了。 但是测试之后,发现下面2种情况: 1)先启动JournalNode,再启动Hdfs,NameNode可以启动并可以正常运行 ...

2017-11-06 23:22:18

阅读数 1336

评论数 0

deepin下搭建基于github和hexo的个人博客

系统:Linux Deepin 15.4 x64搭建步骤:1、 安装git$ sudo apt-get install git查看git版本$ git version2、 安装Node.js及npm a. 可以直接命令安装,但是命令安装的不是最新版本。$ sudo apt-get install...

2017-09-28 15:31:09

阅读数 1076

评论数 0

JavaEE软件开发体系架构

两层架构传统的客户服务器系统仅只简单地基于两层体系来构建,即客户端(前台)和企业信息系统(后台),没有任何中间件,业务逻辑层与表示层或数据层混在一起。这种两层架构无论从开发、部署、扩展、维护来说,综其只有一个特点——成本高。三层架构三层架构自上而下将系统分为表示层、逻辑层、持久层。 表示层由处理...

2017-08-18 10:17:20

阅读数 318

评论数 0

Java实现乘法口诀

for (int i = 1; i < 10; i++) { for (int j = 1; j <= i; j++) { System.out.print(j+"x"+i+"="+j*i+"\t")...

2017-07-20 14:26:44

阅读数 275

评论数 0

mysql data文件夹下的ibdata1 文件作用

ibdata1是储存的格式,INNODB类型数据状态下,ibdata用来储存文件的数据,而库名的文件夹里面的那些表文件只是结构而已。 由于mysql4.1默认试innodb,所以这个文件默认就存在了http://man.chinaunix.net/database/mysql/inonodb...

2017-03-14 14:24:21

阅读数 2384

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭