夜下探戈

Learn and live .

排序:
默认
按更新时间
按访问量

Spark架构及原理

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势: Spark提供了一个...

2018-04-25 15:46:10

阅读数:124

评论数:0

RDD使用

RDD操作 RDD的创建方式 RDD的两种操作算子 RDD操作 RDD的创建方式 从Hadoop文件系统(或与Hadoop兼容的其他持久化存储系统,如Hive、Cassandra、HBase)输入(例如HDFS)创建。 从父RDD转换得到新RDD。 通过para...

2018-04-25 15:44:16

阅读数:59

评论数:0

RDD原理

RDD概念 RDD的内部属性 一组分片(Partition),即数据集的基本组成单位 计算每个分片的函数 RDD之间的依赖关系 一个Partitioner,即RDD的分片函数 分区列表,存储存取每个Partition的优先位置(preferred location) 可选属性 可选属性 ...

2018-04-25 15:43:53

阅读数:77

评论数:0

Spark架构及原理

开发角度 原则一:避免创建重复的RDD 原则二:尽可能用同一个RDD 原则三:对多次使用的RDD进行持久化 如何选择一种最合适的持久化策略 MEMORY_ONLY MEMORY_ONLY_SER MEMORY_AND_DISK_SER 不考虑:DISK_ONLY和_2后缀 原则四:尽量避免...

2018-04-25 15:43:23

阅读数:113

评论数:0

Scala实现乘法表

object HelloWorld { def main(args: Array[String]): Unit = { for (i <- 1 to 9) { for (j <- 1 to i){ print(j+...

2018-04-16 11:41:42

阅读数:39

评论数:0

HBase创建表已经存在,删除表又不存在的问题

清除Zookeeper内存数据库中的相关数据 [root@node1]# zkCli.sh [zk: localhost:2181(CONNECTED) 0] ls / [zookeeper, hadoop-ha, hbase] [zk: localhost:2181(CONNECTED)...

2018-03-31 11:23:01

阅读数:177

评论数:0

Hadoop HA 集群搭建

hadoop HA原理概述 为什么会有 hadoop HA 机制呢? HA:High Available,高可用 在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SPOF:A Single Point of Failure)。对于只有一个 NameNod...

2018-03-24 19:03:19

阅读数:81

评论数:0

wordcount 求互为好友对

package com.Practice.SameFriend2; import com.Practice.SameFriend.SameFriend; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.f...

2018-03-18 18:23:10

阅读数:32

评论数:0

wordcount 数据去重

package com.Practice.RemoveDupData; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs...

2018-03-18 17:18:38

阅读数:101

评论数:0

wordcount 求学生平均成绩

package com.Practice.AverageScores; import com.Practice.SameFriend.SameFriend; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop...

2018-03-18 16:54:47

阅读数:82

评论数:0

wordcount 学生成绩普通版

package com.Practice.StudentScores; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs...

2018-03-18 16:38:33

阅读数:55

评论数:0

hadoop wordcount求共同好友代码实现

package com.Practice.SameFriend; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Pa...

2018-03-16 22:18:00

阅读数:138

评论数:0

IDEA windows本地运行wordcount程序

第一步创建maven项目 第二步创建WordCountDemo类 package com.wordcountModel; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSyst...

2018-03-16 19:58:02

阅读数:282

评论数:0

Error: recoverUnfinalizedSegments failed for required journal

一、问题描述 HA按照规划配置好,启动后,NameNode不能正常启动。刚启动的时候 jps 看到了NameNode,但是隔了一两分钟,再看NameNode就不见了。 但是测试之后,发现下面2种情况: 1)先启动JournalNode,再启动Hdfs,NameNode可以启动并可以正常运行 ...

2017-11-06 23:22:18

阅读数:543

评论数:0

deepin下搭建基于github和hexo的个人博客

系统:Linux Deepin 15.4 x64搭建步骤:1、 安装git$ sudo apt-get install git查看git版本$ git version2、 安装Node.js及npm a. 可以直接命令安装,但是命令安装的不是最新版本。$ sudo apt-get install...

2017-09-28 15:31:09

阅读数:564

评论数:0

JavaEE软件开发体系架构

两层架构传统的客户服务器系统仅只简单地基于两层体系来构建,即客户端(前台)和企业信息系统(后台),没有任何中间件,业务逻辑层与表示层或数据层混在一起。这种两层架构无论从开发、部署、扩展、维护来说,综其只有一个特点——成本高。三层架构三层架构自上而下将系统分为表示层、逻辑层、持久层。 表示层由处理...

2017-08-18 10:17:20

阅读数:273

评论数:0

Java实现乘法口诀

for (int i = 1; i < 10; i++) { for (int j = 1; j <= i; j++) { System.out.print(j+"x"+i+"="+j*i+"\t")...

2017-07-20 14:26:44

阅读数:166

评论数:0

mysql data文件夹下的ibdata1 文件作用

ibdata1是储存的格式,INNODB类型数据状态下,ibdata用来储存文件的数据,而库名的文件夹里面的那些表文件只是结构而已。 由于mysql4.1默认试innodb,所以这个文件默认就存在了http://man.chinaunix.net/database/mysql/inonodb...

2017-03-14 14:24:21

阅读数:1214

评论数:0

免安装版MySQL的优化与配置

MySQL的安装版安装比较麻烦,卸载也比较麻烦。免安装版的好处在于一次配置,下次就可以重复使用了。免安装版最好到官网下载,这里下载的是5.5版本,下载地址:免安装版MySQL 5.5官方免安装版太大了,解压后有800多M,免安装解压下如下: 这里根据实际使用情况进行优化配置,对于使用过程中不涉及...

2017-03-14 14:21:26

阅读数:194

评论数:0

免安装版MySQL乱码(问号)问题解决方案

出现乱码一般都是因为编码不一致造成的。免安装版MySQL配置编码主要在于my.ini这个配置文件。 5.0以上版本修改方法: 修改my.ini 中的设置, 在[client]节点下添加 default-character-set=utf8 在[mysqld]节点下添加 chara...

2017-03-14 13:40:17

阅读数:268

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭