排序:
默认
按更新时间
按访问量

golang-字符串拼接性能对比

下面代码,分别比较了 fmt.Sprintf,string +,strings.Join,bytes.Buffer,方法是循环若干次比较总时间。性能由高到低依次是(bytes.Buffer) > (string +) > (fmt.Sprintf) &a...

2018-05-22 17:00:14

阅读数:5

评论数:0

解决spark中遇到的数据倾斜问题

一. 数据倾斜的现象多数task执行速度较快,少数task执行时间非常长,或者等待很长时间后提示你内存不足,执行失败。二. 数据倾斜的原因常见于各种shuffle操作,例如reduceByKey,groupByKey,join等操作。数据问题key本身分布不均匀(包括大量的key为空)key的设置...

2018-04-28 12:11:13

阅读数:36

评论数:0

Spark排错与优化

https://blog.csdn.net/lsshlsw/article/details/49155087一. 运维1. Master挂掉,standby重启也失效Master默认使用512M内存,当集群中运行的任务特别多时,就会挂掉,原因是master会读取每个task的event log日志...

2018-04-28 11:18:50

阅读数:11

评论数:0

SSH 远程执行任务

SSH 是 Linux 下进行远程连接的基本工具,但是如果仅仅用它来登录那可是太浪费啦!SSH 命令可是完成远程操作的神器啊,借助它我们可以把很多的远程操作自动化掉!下面就对 SSH 的远程操作功能进行一个小小的总结。远程执行命令如果我们要查看一下某台主机的磁盘使用情况,是不是必须要登录到目标主机...

2018-04-23 21:03:40

阅读数:19

评论数:0

Go语言并发编程总结

微信公众号:Golang语言社区如有问题或建议,请公众号留言或者微信群、QQ群提问Golang :不要通过共享内存来通信,而应该通过通信来共享内存。这句风靡在Go社区的话,说的就是 goroutine中的 channel …….他在go并发编程中充当着 类型安全的管道作用。1、通过golang中的...

2018-03-31 21:43:40

阅读数:24

评论数:0

MapReduce理解-深入理解MapReduce

前面的几篇博客主要介绍了Hadoop的存储HDFS,接下来几篇博客主要介绍Hadoop的计算框架MapReduce。本片博客主要讲解MapReduce框架的具体执行流程,以及shuffle过程,当然这方面的技术博客已经特别多而且都写得很优秀,我写本篇博客之前也有过相关阅读,受益匪浅。对一些博客和资...

2018-03-15 21:09:02

阅读数:46

评论数:0

[解决]Spark集群HA无法正常启动的问题

Spark集群HA无法正常启动的问题,master节点正常情况的状态为ALIVE与STANDBY,使用HA后通过zookeeper集群来确定master的ALIVE与STANDBY。今天,出现master节点一直处于RECOVERING,处理恢复状态,却不能正常启动。根据以往hadoop集群的经验...

2018-03-13 21:59:15

阅读数:32

评论数:0

Spark支持三种分布式部署方式

目前Apache Spark支持三种分布式部署方式,分别是standalone、spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内部实现了容错性和资源管理,后两种则是未来发展的趋势,部分容错性和资源管理交由统一的资源管理系统完成...

2018-03-12 00:02:59

阅读数:119

评论数:0

【性能优化】Hive优化

1.概述  继续《那些年使用Hive踩过的坑》一文中的剩余部分,本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。2.介绍  首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题?数据量大不是问题,数据倾斜是个问题。job...

2018-03-07 22:27:09

阅读数:48

评论数:0

mapreduce 实现内连接,左连接,右连接,全连接,反连接

数据集user(id name)用户表 1 user1 2 user2 3 user3 4 user4 5 user5 6 user6post(userid postid postname)帖子表 1 1 post1 1 2 post2 2 3 post3 4 4 post4 5 5 post5 ...

2018-03-06 16:50:11

阅读数:47

评论数:0

图解SQL的Join

原文地址:http://coolshell.cn/articles/3463.html对于SQL的Join,在学习起来可能是比较乱的。我们知道,SQL的Join语法有很多inner的,有outer的,有left的,有时候,对于Select出来的结果集是什么样子有点不是很清楚。Coding Horr...

2018-03-06 16:39:17

阅读数:36

评论数:0

时间序列数据的存储和计算 - 概述

转载:https://yq.aliyun.com/articles/104243摘要: 什么是时间序列数据   什么是时间序列(Time Series,以下简称时序)数据?从定义上来说,就是一串按时间维度索引的数据。用描述性的语言来解释什么是时序数据,简单的说,就是这类数据描述了某个被测量的主体在...

2018-03-05 11:34:47

阅读数:70

评论数:0

PIP源使用国内镜像,提升下载速度和安装成功率

国内源(新版ubuntu要求使用https源,要注意。):清华:https://pypi.tuna.tsinghua.edu.cn/simple阿里云:http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.ed...

2018-03-02 14:27:04

阅读数:119

评论数:0

hive udf开发超详细手把手教程

http://blog.csdn.net/bitcarmanlee/article/details/51249260Hive中,除了提供丰富的内置函数(见[一起学Hive]之二–Hive函数大全-完整版)之外,还允许用户使用Java开发自定义的UDF函数。开发自定义UDF函数有两种方式,一个是继承...

2018-02-28 23:00:50

阅读数:44

评论数:0

golang 如何判断变量的类型

方法一package main import ( "fmt" ) func main() { v1 := "123456" v2 := 12 fmt.Printf(&a...

2018-02-24 15:12:24

阅读数:71

评论数:0

一篇文章搞定面试中的二叉树

2018-02-07 IOExceptioner 算法与数据结构 来自:杨守乐(微信号:study_tech) 作者:IOExceptioner 链接:https://www.jianshu.com/p/0190985635eb 在上一篇介绍二叉树( A...

2018-02-07 20:47:08

阅读数:55

评论数:0

Elasticsearch 5.4 Indices(索引) API

http://blog.csdn.net/napoay/article/details/73251965 前言一索引管理 1 创建索引2 删除索引3 查看索引信息4 索引是否存在5 关闭打开索引6 索引收缩7 翻滚索引 二mapping管理 1 设置mapping2 查看mappi...

2018-01-24 21:10:14

阅读数:41

评论数:0

Elasticsearch 5.4 Mapping详解

http://blog.csdn.net/napoay/article/details/73100110 前言一Field datatype字段数据类型 1string类型2 text类型3 keyword类型4 数字类型5 Object类型6 date类型7 Array类型8 binar...

2018-01-24 21:07:39

阅读数:83

评论数:0

Spark内存管理详解(上)——内存分配

本文最初由IBM developerWorks中国网站发表,其链接为Apache Spark内存管理详解 在这里,正文内容分为上下两篇来阐述,下一篇见《Spark内存管理详解(下)——内存管理》 Spark内存管理详解(上)——内存分配 1. 堆内和堆外内存 2. 内存空间分配 Spa...

2018-01-05 19:16:13

阅读数:129

评论数:0

Spark 内存管理详解

转载:https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-apache-spark-memory-management/index.html Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着...

2018-01-05 19:14:35

阅读数:92

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭