spark常见错误解决方案

1、用./bin/spark-shell启动spark时遇到异常:java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法:add exp...

2019-05-15 15:53:20

阅读数 3

评论数 0

hive 常见的函数

hive函数之数学函数 round(double d)--返回double型d的近似值(四舍五入),返回bigint型; round(double d,int n)--返回保留double型d的n位小数double型近似值(四舍五入); floor(double d)--返回&l...

2019-05-10 10:18:03

阅读数 33

评论数 0

hive 随机抽样

在大规模数据量的数据分析及建模任务中,往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源,因此一般情况下只需要抽取一小部分数据进行分析及建模操作。Hive提供了数据取样(SAMPLING)的功能,能够根据一定的规则进行数据抽样,目前支持数据块抽样,分桶抽样和随机抽样,具体如下所示: 数据块抽...

2019-05-09 17:42:26

阅读数 43

评论数 0

sqoop将mysql数据导入到hive分区

导入Hive单分区表直接用sqoop命令就可以。 1)首先建立单分区表(内部表) CREATETABLE IF NOT EXISTS import.zbd_t_product_comparison ( GCJT_SYB_DESC STRING COMMENT '产品线', brand STRI...

2019-04-30 17:13:35

阅读数 21

评论数 0

spark读写hbase方式

因此Spark如何向HBaseh5房卡斗牛棋牌平台出售 官网:h5.super-mans.com 企娥:2012035031 vx和tel:17061863513 h5房卡斗牛棋牌平台出售中写数据就成为很重要的一个环节了。本文将会介绍三种写入的方式,其中一种还在期待中,暂且官网即可... 代码在...

2019-04-30 10:22:02

阅读数 28

评论数 0

hive的各种存储类型对比

Apache Hive支持Apache Hadoop中使用的几种熟悉的文件格式,如TextFile,RCFile,SequenceFile,AVRO,ORC和Parquet格式。ClouderaImpala也支持这些文件格式。在建表时使用STORED AS (TextFile|RCFile|Seq...

2019-04-29 17:56:51

阅读数 51

评论数 0

spark sql 数据倾斜优化

场景一: 大表join小表: 把小表broadcast,和cache 到内存,并且大表加了distribute by rand() 然后在spark-submit中加一个conf:spark.sql.autoBroadcastJoinThreshold=200000000。此配置限定小表大小,...

2019-04-28 15:38:50

阅读数 21

评论数 0

spark dataframe schame 如何在spark数据中转换一个结构数组?

让我通过一个例子来解释我想做的事情。我们将首先创建一个dataframe,它包含一个行数组和嵌套行。我的整数还没有在dataframe中被抛出,它们是作为字符串创建的: import org.apache.spark.sql._ import org.apache.spark.sql.type...

2019-04-24 19:21:54

阅读数 11

评论数 0

java调用http接口

java如何调用接口   在实际开发过程中,我们经常需要调用对方提供的接口或测试自己写的接口是否合适,所以,问题来了,java如何调用接口?很多项目都会封装规定好本身项目的接口规范,所以大多数需要去调用对方提供的接口或第三方接口(短信、天气等)。当然了,自我测试也是!   回顾上一篇 java...

2019-04-23 16:22:47

阅读数 7

评论数 0

spark dataframe 常用操作

Action 操作 1、collect() ,返回值是一个数组,返回dataframe集合所有的行 2、collectAsList() 返回值是一个java类型的数组,返回dataframe集合所有的行 3、count() 返回一个number类型的,返回dataframe集合的行数 4、...

2019-04-23 15:00:26

阅读数 37

评论数 0

大数据常见错误解决方案

1、用./bin/spark-shell启动spark时遇到异常:java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法:add exp...

2019-04-22 09:52:04

阅读数 125

评论数 0

scala增删等操作hbase

import java.io.IOException import org.apache.hadoop.hbase.{HBaseConfiguration, HColumnDescriptor, HTableDescriptor, TableName} import org.apache.had...

2019-04-16 16:36:54

阅读数 4

评论数 0

resource manager命令

杀掉任务yarn application --kill application_1552709495095_854785 查看日志yarn logs -applicationId application_1552709495095_854785 > logs.txt

2019-03-28 08:46:01

阅读数 33

评论数 0

通过jstack与jmap分析一次线上故障

一、发现问题 下面是线上机器的cpu使用率,可以看到从4月8日开始,随着时间cpu使用率在逐步增高,最终使用率达到100%导致线上服务不可用,后面重启了机器后恢复。 二、排查思路 简单分析下可能出问题的地方,分为5个方向: 1.系统本身代码问题 2.内部下游系统的问题导致的雪崩效应...

2019-03-25 17:46:59

阅读数 30

评论数 0

ELK修改mapping报错 "reason": "Validation Failed: 1: index patterns are missing;"

PUT _template/template_2 { "template_2": { "order": 1, "index_patterns": [ "logstash-put-*" ], &...

2019-03-25 09:27:21

阅读数 48

评论数 0

Scala编程中常见错误:Error:(24, 29) value foreach is not a member of java.util.Set[String]

问题: 在Scala编程开发中, 经常会出现类似如下的错误, Error:(24, 29) value foreach is not a member of java.util.Set[String] for (key <- reducedList.keySet) { ^ 或...

2019-03-04 15:57:03

阅读数 88

评论数 0

spark 学习资源

有段时间没写大数据相关的博客了,主要是最近一边学着Spark,一边手上做着基于Hadoop的实现一个web端推荐系统的项目。 想写点东西,整理了一会儿发现写的不咋地就没发出来,这次就放几个Spark的学习视频资源吧,是百度云链接啊。你要是觉得有帮助的话,右上角可以给这篇文章点赞,谢谢 学习 Sc...

2019-02-27 11:01:53

阅读数 53

评论数 0

常见的小问题

此贴总结各种错误。总结的多了之后会加以分类。 1、解决Maven项目pom.xml文件报xxx\target\classes\META-INF\MANIFEST.MF (系统找不到指定的路径)问题:(只需简单地clean all projects) http://www.cnblogs.com...

2019-02-25 14:27:47

阅读数 83

评论数 0

spark oom常见的解决方式

分析 spark常见的问题不外乎oom: 我们首先看一下Spark 的内存模型: Spark在一个Executor中的内存分为三块,一块是execution内存,一块是storage内存,一块是other内存。 execution内存是执行内存,文档中说join,aggregate都在这部分内存中...

2019-01-30 10:14:19

阅读数 157

评论数 0

spark 批量存储到hbase

Spark 批量写数据入HBase,spark数据入hbase   介绍     工作中常常会遇到这种情形,需要将hdfs中的大批量数据导入HBase。本文使用Spark+HBase的方式将RDD中的数据导入HBase中。没有使用官网提供的newAPIHadoopRDD接口的方式。使用本文...

2019-01-17 11:51:50

阅读数 192

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭