yisun123456的博客

排序：
默认
按更新时间
按访问量
RSS订阅

转 spark常见错误解决方案

1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add exp...

2019-05-15 15:53:20

阅读数 3

评论数 0

转 hive 常见的函数

hive函数之数学函数 round(double d)--返回double型d的近似值（四舍五入），返回bigint型； round(double d,int n)--返回保留double型d的n位小数double型近似值（四舍五入）； floor(double d)--返回&l...

2019-05-10 10:18:03

阅读数 33

评论数 0

转 hive 随机抽样

在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，具体如下所示： 数据块抽...

2019-05-09 17:42:26

阅读数 43

评论数 0

转 sqoop将mysql数据导入到hive分区

导入Hive单分区表直接用sqoop命令就可以。 1）首先建立单分区表（内部表） CREATETABLE IF NOT EXISTS import.zbd_t_product_comparison ( GCJT_SYB_DESC STRING COMMENT '产品线', brand STRI...

2019-04-30 17:13:35

阅读数 21

评论数 0

转 spark读写hbase方式

因此Spark如何向HBaseh5房卡斗牛棋牌平台出售 官网:h5.super-mans.com 企娥:2012035031 vx和tel:17061863513 h5房卡斗牛棋牌平台出售中写数据就成为很重要的一个环节了。本文将会介绍三种写入的方式，其中一种还在期待中，暂且官网即可... 代码在...

2019-04-30 10:22:02

阅读数 28

评论数 0

转 hive的各种存储类型对比

Apache Hive支持Apache Hadoop中使用的几种熟悉的文件格式，如TextFile，RCFile，SequenceFile，AVRO，ORC和Parquet格式。ClouderaImpala也支持这些文件格式。在建表时使用STORED AS (TextFile|RCFile|Seq...

2019-04-29 17:56:51

阅读数 51

评论数 0

转 spark sql 数据倾斜优化

场景一： 大表join小表： 把小表broadcast，和cache 到内存，并且大表加了distribute by rand() 然后在spark-submit中加一个conf：spark.sql.autoBroadcastJoinThreshold=200000000。此配置限定小表大小，...

2019-04-28 15:38:50

阅读数 21

评论数 0

转 spark dataframe schame 如何在spark数据中转换一个结构数组？

让我通过一个例子来解释我想做的事情。我们将首先创建一个dataframe，它包含一个行数组和嵌套行。我的整数还没有在dataframe中被抛出，它们是作为字符串创建的： import org.apache.spark.sql._ import org.apache.spark.sql.type...

2019-04-24 19:21:54

阅读数 11

评论数 0

转 java调用http接口

java如何调用接口 　　在实际开发过程中，我们经常需要调用对方提供的接口或测试自己写的接口是否合适，所以，问题来了，java如何调用接口？很多项目都会封装规定好本身项目的接口规范，所以大多数需要去调用对方提供的接口或第三方接口（短信、天气等）。当然了，自我测试也是！ 　　回顾上一篇 java...

2019-04-23 16:22:47

阅读数 7

评论数 0

转 spark dataframe 常用操作

Action 操作 1、collect() ,返回值是一个数组，返回dataframe集合所有的行 2、collectAsList() 返回值是一个java类型的数组，返回dataframe集合所有的行 3、count() 返回一个number类型的，返回dataframe集合的行数 4、...

2019-04-23 15:00:26

阅读数 37

评论数 0

转 大数据常见错误解决方案

1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add exp...

2019-04-22 09:52:04

阅读数 125

评论数 0

转 scala增删等操作hbase

import java.io.IOException import org.apache.hadoop.hbase.{HBaseConfiguration, HColumnDescriptor, HTableDescriptor, TableName} import org.apache.had...

2019-04-16 16:36:54

阅读数 4

评论数 0

转 resource manager命令

杀掉任务yarn application --kill application_1552709495095_854785 查看日志yarn logs -applicationId application_1552709495095_854785 > logs.txt

2019-03-28 08:46:01

阅读数 33

评论数 0

转 通过jstack与jmap分析一次线上故障

一、发现问题 下面是线上机器的cpu使用率，可以看到从4月8日开始，随着时间cpu使用率在逐步增高，最终使用率达到100%导致线上服务不可用，后面重启了机器后恢复。 二、排查思路 简单分析下可能出问题的地方，分为5个方向： 1.系统本身代码问题 2.内部下游系统的问题导致的雪崩效应...

2019-03-25 17:46:59

阅读数 30

评论数 0

原 ELK修改mapping报错 "reason": "Validation Failed: 1: index patterns are missing;"

PUT _template/template_2 { "template_2": { "order": 1, "index_patterns": [ "logstash-put-*" ], &...

2019-03-25 09:27:21

阅读数 48

评论数 0

转 Scala编程中常见错误：Error:(24, 29) value foreach is not a member of java.util.Set[String]

问题: 在Scala编程开发中, 经常会出现类似如下的错误, Error:(24, 29) value foreach is not a member of java.util.Set[String] for (key <- reducedList.keySet) { ^ 或...

2019-03-04 15:57:03

阅读数 88

评论数 0

转 spark 学习资源

有段时间没写大数据相关的博客了，主要是最近一边学着Spark，一边手上做着基于Hadoop的实现一个web端推荐系统的项目。 想写点东西，整理了一会儿发现写的不咋地就没发出来，这次就放几个Spark的学习视频资源吧，是百度云链接啊。你要是觉得有帮助的话，右上角可以给这篇文章点赞，谢谢 学习 Sc...

2019-02-27 11:01:53

阅读数 53

评论数 0

转 常见的小问题

此贴总结各种错误。总结的多了之后会加以分类。 1、解决Maven项目pom.xml文件报xxx\target\classes\META-INF\MANIFEST.MF (系统找不到指定的路径)问题：（只需简单地clean all projects） http://www.cnblogs.com...

2019-02-25 14:27:47

阅读数 83

评论数 0

转 spark oom常见的解决方式

分析 spark常见的问题不外乎oom： 我们首先看一下Spark 的内存模型： Spark在一个Executor中的内存分为三块，一块是execution内存，一块是storage内存，一块是other内存。 execution内存是执行内存，文档中说join，aggregate都在这部分内存中...

2019-01-30 10:14:19

阅读数 157

评论数 0

转 spark 批量存储到hbase

Spark 批量写数据入HBase，spark数据入hbase   介绍     工作中常常会遇到这种情形，需要将hdfs中的大批量数据导入HBase。本文使用Spark+HBase的方式将RDD中的数据导入HBase中。没有使用官网提供的newAPIHadoopRDD接口的方式。使用本文...

2019-01-17 11:51:50

阅读数 192

评论数 1

提示
确定要删除当前文章？
取消 删除
关闭
关闭