自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Rocky

不积跬步,无以至千里;不积小流,无以成江海

  • 博客(221)
  • 资源 (6)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Spark算子系列文章

Spark算子:RDD基本转换操作(1)–map、flagMap、distinctSpark算子:RDD创建操作Spark算子:RDD基本转换操作(2)–coalesce、repartitionSpark算子:RDD基本转换操作(3)–randomSplit、glomSpark算子:RDD基本转换操作(4)–union、intersection、subtract

2016-12-27 14:40:12 1366

原创 hbase集群中的从节点的Hregionserver进程出现闪退现象解决办法

2018-01-16 13:23:38,879 INFO  [main] ipc.SimpleRpcScheduler: Using default user call queue, count=202018-01-16 13:23:38,890 ERROR [main] regionserver.HRegionServerCommandLine: Region server exiting

2018-01-16 13:37:26 1289

原创 java.io.IOException: No space left on device

java.io.IOException: No space left on device 错误今天碰到比较奇怪的问题: INFO util.Utils: Fetching http://192.168.31.160:33039/jars/spark_study_java-0.0.1-SNAPSHOT-jar-with-dependencies.jar to /tmp/spark-4

2017-09-14 15:30:32 4262

原创 HBase scan setBatch和setCaching的区别

HBase的查询实现只提供两种方式:1、按指定RowKey获取唯一一条记录,get方法(org.apache.hadoop.hbase.client.Get)2、按指定的条件获取一批记录,scan方法(org.apache.Hadoop.Hbase.client.Scan)实现条件查询功能使用的就是scan方式,scan在使用时有以下几点值得注意:1、scan可以通过s

2017-08-30 16:58:34 437

原创 [转]关于PreparedStatement.addBatch()方法

Statement和PreparedStatement的区别就不多废话了,直接说PreparedStatement最重要的addbatch()结构的使用.1.建立链接,(打电话拨号 )       Connection    connection =getConnection();2.不自动 Commit (瓜子不是一个一个吃,全部剥开放桌子上,然后一口舔了)//         

2017-08-30 13:21:29 784

原创 [转]Spark与Pandas中DataFrame对比(详细)

PandasSpark工作方式单机single machine tool,没有并行机制parallelism不支持Hadoop,处理大量数据有瓶颈分布式并行计算框架,内建并行机制parallelism,所有的数据和操作自动并行分布在各个集群结点上。以处理in-memory数据的方式处理distributed数据。支持Hadoop,能处理大量数据延迟机制

2017-08-29 15:24:52 1527

转载 spark 基础知识- spark SQL专题

一、简介  Spark SQL是Spark中处理结构化数据的模块。与基础的Spark RDD API不同,Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。在Spark内部,Spark SQL会能够用于做优化的信息比RDD API更多一些。Spark SQL如今有了三种不同的API:SQL语句、DataFrame API和最新的Dataset API。不过真正运行计算

2017-07-18 14:49:34 845

转载 hbase bulk load相关源码简析之PutSortReducer、KeyValueSortReducer

转载请注明出处: http://blog.csdn.net/lonelytrooper/article/details/17040895PutSortReducer:[java] view plain copy // 对map阶段传递过来的puts中的KVs做排序,并将有序的KVs写到输出流(最终写的类是HFileWriterV1或HFileWriterV2

2017-07-10 18:55:12 316

转载 hbase bulk load相关源码简析之HFileOutputFormat、LoadIncrementalHFiles

转载请注明出处: http://blog.csdn.net/lonelytrooper/article/details/17040895PutSortReducer:[java] view plain copy // 对map阶段传递过来的puts中的KVs做排序,并将有序的KVs写到输出流(最终写的类是HFileWriterV1或HFileWriterV2

2017-07-10 18:53:49 636

转载 hbase bulk load 小实践及一些总结

转载请注明出处:http://blog.csdn.net/lonelytrooper/article/details/17042391很早就知道bulk load这个东西,也大致都清楚怎么回事,居然直到前几天才第一次实践... 这篇文章大致分为三个部分:1. 使用Hbase自带的importtsv工具2. 自己实现写mr生成hfile并加载3. bulk load本身及对依赖的

2017-07-10 18:52:22 2101

原创 HBase性能优化方法总结

本文主要是从Hbase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关hbase系统配置级别的优化,这里涉及的不多,这部分可以参考:淘宝Ken Wu同学的博客。1. 表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直

2017-07-07 18:03:23 528

原创 MapReduce生成HFile入库到HBase

一、这种方式有很多的优点:1. 如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 “Bulk Loading”方法,即HBase提供的HFileOutputFormat类。2. 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理,直接生成这种hdfs内存储的数据格式文件,然后上传至合适位置,即完成巨量数据快速入

2017-07-06 20:30:30 1891

转载 java clone方法使用详解

Java语言的一个优点就是取消了指针的概念,但也导致了许多程序员在编程中常常忽略了对象与引用的区别,特别是先学c、c++后学java的程序员。并且由于Java不能通过简单的赋值来解决对象复制的问题,在开发过程中,也常常要要应用clone()方法来复制对象。比如函数参数类型是自定义的类时,此时便是引用传递而不是值传递。以下是一个小例子:Java代码  public class

2017-07-06 20:21:19 215

原创 Spark创建DataFrame和读取CSV数据文件

之前写的程序中,有些API在Spark SQLContext没有,我计算的结果先保存在rdd中,最后在使用RDD转换成dataframe进行保存,话不多说下面是代码.//一个StruceField你可以把它当成一个特征列。分别用列的名称和数据类型初始化 val structFields = List(StructField("age",DoubleType),StructField("h

2017-06-20 20:07:52 3598

转载 Spark DataFrames入门指南:创建和操作DataFrame

一、从csv文件创建DataFrame  本文将介绍如何从csv文件创建DataFrame。如何做?  从csv文件创建DataFrame主要包括以下几步骤:  1、在build.sbt文件里面添加spark-csv支持库;  2、创建SparkConf对象,其中包括Spark运行所有的环境信息;  3、创建SparkContext对象,它是进入Spark的核心切入点,

2017-06-20 17:32:16 352

转载 Spark Streaming中的操作函数分析

根据Spark官方文档中的描述,在Spark Streaming应用中,一个DStream对象可以调用多种操作,主要分为以下几类TransformationsWindow OperationsJoin OperationsOutput Operations一、Transformations1、map(func)  map操作需要传入一个函数当做参数,具体调用形式为val b

2017-06-20 15:53:06 228

转载 浅析Apache Spark Caching和Checkpointing

Apache Spark应用开发中,内存管理是最重要的人物之一,但cacheing和checkpointing之间的差异可能会导致混乱。这2种操作是都是用来防止rdd(弹性分布式数据集)每次被引用时被重复计算带来的时间和空间上不必要的损失。然而他们之间的区别是什么呢?fengmian.pngCachingcache 机制保证了需要访问重复数据的应用(如迭代型算法

2017-06-16 18:11:36 359

转载 Spark多文件输出(MultipleTextOutputFormat)

因为Spark内部写文件方式其实调用的都是Hadoop那一套东西,所以我们也可以通过Spark实现多文件输出。不过遗憾的是,Spark内部没有多文件输出的函数供大家直接调用,值得欣慰的是,我们自己实现这个功能也是很简单的。我们可以通过调用saveAsHadoopFile函数并自定义一个OutputFormat类即可,代码如下:[plain] view plain copy

2017-06-16 18:10:29 1340

原创 Java实现正则匹配出script标签中字符串包含某个几个单词的所有行,以及编码转换

/*取得script下面的JS变量*/          Elements scriptinfo = document.getElementsByTag("script").eq(21);          List list=new ArrayList();         Map PopWindowInfo = new LinkedHashMap();        /*循环遍

2017-03-24 16:53:17 1392

原创 Java实现Unicode码转为中文

java里如何把\u8BA8\u8BBA\u533A这种编码转换成中文package com.util.prop;public class Unicode2CN { /** * @Author:HaoMing(郝明) * @Project_name:checkface * @Full_path:com.util.prop.Unicode2CN.java * @Date:@201

2017-03-24 16:49:09 2866

转载 万能的林萧说:一篇文章教会你,如何做到招聘要求中的“要有扎实的Java基础”。

来历    本文来自于一次和群里猿友的交流,具体的情况且听LZ慢慢道来。  一日,LZ在群里发话,“招人啦。”  然某群友曰,“群主,俺想去。”  LZ回之,“你年几何?”  群友曰,“两年也。”  LZ憾言之,“惜了,三至五为佳。然如汝有扎实之基础,且附一技之长,倒也并非不可呀。”  群友惑,问之,“何为一技之长?”  LZ抚须答曰,“皆可,吾之一技即为写。”

2017-03-24 16:46:00 288

转载 回答阿里社招面试如何准备,顺便谈谈对于Java程序猿学习当中各个阶段的建议

回答阿里社招面试如何准备,顺便谈谈对于Java程序猿学习当中各个阶段的建议引言    其实本来真的没打算写这篇文章,主要是LZ得记忆力不是很好,不像一些记忆力强的人,面试完以后,几乎能把自己和面试官的对话都给记下来。LZ自己当初面试完以后,除了记住一些聊过的知识点以外,具体的内容基本上忘得一干二净,所以写这篇文章其实是很有难度的。  但是,最近问LZ的人实在是太多了,为了避免重

2017-03-24 16:42:51 253

原创 一句话说清楚什么是闭包函数

题记:闭包是许多语言都支持的特性,像javascript,lua等。对闭包函数有所了解的童鞋可能都会感叹闭包函数似乎做到了其他普通函数未能做到的事情。 普通函数内部可以直接读取全局变量。如: local n = 1function f1( ... ) return nendprint(f1()) --1 但普通函数内部却无

2017-02-13 13:22:20 463

转载 Spark 2.0介绍:从RDD API迁移到DataSet API

RDD迁移到DataSetDataSet API将RDD和DataFrame两者的优点整合起来,DataSet中的许多API模仿了RDD的API,虽然两者的实现很不一样。所以大多数调用RDD API编写的程序可以很容易地迁移到DataSet API中,下面我将简单地展示几个片段来说明如何将RDD编写的程序迁移到DataSet。1、加载文件RDDval rdd = sparkCont

2017-01-23 18:44:58 322

转载 spark 输出结果压缩(gz)

如果不想往下看,可以直接看结果:maxCallRdd.repartition(3).saveAsTextFile(path,GzipCodec.class); 恩,没错。就只这么一行简单的代码实现了gz压缩,但是为什么网上一直没找到呢,这个我不太清楚, 可能是他们没碰到吧。    最近项目的需求,其实很简单,就是将输出结果以.gz的格式压缩,每个压缩包的大小不能超过100M,而且压缩包的名称也

2017-01-23 11:18:55 3785

原创 HIVE 语句执行 中报错:Java heap space

1、报错信息Diagnostic Messages for this Task:Error: Java heap spaceFAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask2、根据提示加大了 HADOOP_HEAP 设置,但是错误依旧;3、

2017-01-23 11:13:40 1939

原创 如何使用shell从一个文件中取出不在另一个文件中的内容

本文展示如何利用shell从一个文件中,(按行)找出不在另一个文件中的内容。#!/bin/bash#@filename checkAddWord.sh#allword.txt         存放总词库(每行一个)#newword.txt         存放新增词(每行一个)#newword.add.txt     在cygwin中执行sh checkAddWord.

2017-01-23 11:05:02 2570

原创 hive中数据去重,union,交集和并集等操作语句总结

insert overwrite table store    select t.p_key,t.sort_word from       ( select p_key,             sort_word ,             row_number()  over(distribute by p_key sort by sort_word) as rn       from sto

2017-01-23 10:59:25 20479

转载 Spark: sortBy和sortByKey函数详解

在很多应用场景都需要对结果数据进行排序,Spark中有时也不例外。在Spark中存在两种对RDD进行排序的函数,分别是 sortBy和sortByKey函数。sortBy是对标准的RDD进行排序,它是从Spark 0.9.0之后才引入的(可以参见SPARK-1063)。而sortByKey函数是对PairRDD进行排序,也就是有Key和Value的RDD。下面将分别对这两个函数的实现以及使用进

2016-12-30 09:53:50 1793

原创 spark中的cache() persist() checkpoint()之间的区别

cache()与persist():会被重复使用的(但是)不能太大的RDD需要cache。cache 只使用 memory,写磁盘的话那就叫 checkpoint 了。 哪些 RDD 需要 checkpoint?运算时间很长或运算量太大才能得到的 RDD,computing chain 过长或依赖其他 RDD 很多的 RDD。 实际上,将 ShuffleMapTask 的输出结果存放到本地磁盘

2016-12-27 17:51:54 13933 4

转载 Spark RDD、DataFrame和DataSet的区别

转自:http://blog.csdn.NET/wo334499/article/details/51689549 RDD优点:编译时类型安全 编译时就能检查出类型错误面向对象的编程风格 直接通过类名点的方式来操作数据缺点:序列化和反序列化的性能开销 无论是集群间的通信, 还是IO操作都需要对对象的结构和数据进行序列化和反序列化.GC的性

2016-12-27 15:58:36 612

转载 Spark算子:RDD基本转换操作(7)–zipWithIndex、zipWithUniqueId

关键字:Spark算子、Spark RDD基本转换、zipWithIndex、zipWithUniqueIdzipWithIndexdef zipWithIndex(): RDD[(T, Long)]该函数将RDD中的元素和这个元素在RDD中的ID(索引号)组合成键/值对。scala> var rdd2 = sc.makeRDD(Seq("A","B","R","D","F"),2

2016-12-27 14:29:37 1557

转载 Spark算子:RDD基本转换操作(6)–zip、zipPartitions

关键字:Spark算子、Spark RDD基本转换、zip、zipPartitionszipdef zip[U](other: RDD[U])(implicit arg0: ClassTag[U]): RDD[(T, U)]zip函数用于将两个RDD组合成Key/Value形式的RDD,这里默认两个RDD的partition数量以及元素数量都相同,否则会抛出异常。scala> va

2016-12-27 14:24:05 518

转载 Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex

关键字:Spark算子、Spark RDD基本转换、mapPartitions、mapPartitionsWithIndexmapPartitionsdef mapPartitions[U](f: (Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U])

2016-12-27 13:55:16 545

转载 Spark算子:RDD基本转换操作(4)–union、intersection、subtract

关键字:Spark算子、Spark RDD基本转换、union、intersection、subtractuniondef union(other: RDD[T]): RDD[T]该函数比较简单,就是将两个RDD进行合并,不去重。 scala> var rdd1 = sc.makeRDD(1 to 2,1)rdd1: org.apache.spark.rdd.RDD[Int]

2016-12-27 13:44:18 6579

转载 Spark算子:RDD基本转换操作(3)–randomSplit、glom

关键字:Spark算子、Spark RDD基本转换、randomSplit、glomrandomSplitdef randomSplit(weights: Array[Double], seed: Long = Utils.random.nextLong): Array[RDD[T]]该函数根据weights权重,将一个RDD切分成多个RDD。该权重参数为一个Double数组第

2016-12-27 13:34:53 1346

转载 Spark算子:RDD基本转换操作(2)–coalesce、repartition

关键字:Spark算子、Spark RDD基本转换、coalesce、repartitioncoalescedef coalesce(numPartitions: Int, shuffle: Boolean = false)(implicit ord: Ordering[T] = null): RDD[T]该函数用于将RDD进行重分区,使用HashPartitioner。第一个参数

2016-12-27 13:20:43 833

转载 Spark算子:RDD基本转换操作(1)–map、flagMap、distinct

关键字:Spark算子、Spark RDD基本转换、map、flatMap、distinctmap将一个RDD中的每个数据项,通过map中的函数映射变为一个新的元素。输入分区与输出分区一对一,即:有多少个输入分区,就有多少个输出分区。hadoop fs -cat /tmp/lxw1234/1.txthello worldhello sparkhello hive  //读取HD

2016-12-27 11:48:58 1018

转载 Spark算子:统计RDD分区中的元素及数量

关键字:Spark算子、Spark RDD分区、Spark RDD分区元素数量Spark RDD是被分区的,在生成RDD时候,一般可以指定分区的数量,如果不指定分区数量,当RDD从集合创建时候,则默认为该程序所分配到的资源的CPU核数,如果是从HDFS文件创建,默认为文件的Block数。可以利用RDD的mapPartitionsWithIndex方法来统计每个分区中的元素及数量。关于m

2016-12-26 17:48:33 1144

转载 Spark算子:RDD创建操作

关键字:Spark RDD 创建、parallelize、makeRDD、textFile、hadoopFile、hadoopRDD、newAPIHadoopFile、newAPIHadoopRDD从集合创建RDDparallelizedef parallelize[T](seq: Seq[T], numSlices: Int = defaultParallelism)(impli

2016-12-26 17:39:41 602

Understanding Student Behaviors in Online Classroom_Data Scientific Approach

Understanding Student Behaviors in Online Classroom_Data Scientific Approach 大数据与机器学习的结合,大数据与神经网络的结合

2014-10-15

Towards Big Data Bayesian Network Learning - An Ensemble Learning Based Approach

大数据与神经网络的结合

2014-10-15

CAAC_A Key-Value Database Performance Boosting Algorithm

大数据与数据挖掘的结合,大数据与机器学习的结合

2014-10-15

FSM-H_Frequent Subgraph Mining Algorithm in Hadoop

Hadoop大数据中数据挖掘的运用,大数据与机器学习的结合

2014-10-15

A Discriminant Framework Detecting Similar Scientific Based on Big Data Mining

大数据与数据挖掘的结合

2014-10-15

2014 Spark

spark软件栈,是一个结构上统一,功能多元化的软件栈。大数据技术说明life is short,your need spark!

2015-05-14

翔飞天宇的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除