自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

houzhizhen的专栏

bigdata hobbyist

  • 博客(6)
  • 资源 (4)
  • 收藏
  • 关注

转载 Scala学习笔记(六)所谓Symbol

对于我这个一直沉溺在Java语言,拒绝接受ruby,groovy等动态语言的老古董来说,Symbol是在是个奇怪的东西,比较难理解,Scala文档中所有关于Symbol的字我都认识,但结合在一起就看不明白了,用处何在?专门找了ruby中关于Symbol的学习资料,看了后,领悟如下:1.Symbol 是Scala中所谓literal类型的一种,literal字面意思为文本,表现为可以

2016-10-31 11:53:33 1496

转载 Spark 作业调度

概述 Spark有几个在计算中调度资源的工具。首先需要记得,正如集群模式概述中描述的那样,每个Spark应用中(SparkContext实例)都运行着一组独立的执行进程。Spark运行在的集群管理器提供了应用间调度的工具。第二,在每个Spark应用中,由不同线程提交的多个“jobs”(Spark actions)可以同时运行。在处理网络请求的应用中这很常见,比如Shark服务器就以这种方式

2016-10-17 15:14:32 577

转载 Scala:Enumeration

先开看一下如何声明一个枚举对象object EnumTest extends Enumeration{ type EnumTest = Value val One,Two,Three = Value}12341234这和我们在Java中声明有很大区别,Scala的枚举值有些特殊,它的关键是内部有一个Value类,所谓的枚举值都是通过它产生的。如果我们不做任何约定的话,枚举

2016-10-17 14:59:04 476

转载 Linux配置apache支持php

Linux配置apache支持php博客分类:LinuxApachePHPLinuxMySQLWeb 1.apache已经linux存在,查看apache版本信息及安装目录# apachectl -vServer version: Apache/2.2.3 2.安装mysql,由于redhat Enterprise 5 中自带一个mysql的版本,需

2016-10-12 17:12:40 7088

原创 spark-defaults.conf 里的参数被加载的时机

org.apache.spark.launcher.CommandBuilderUtils static final String DEFAULT_PROPERTIES_FILE = "spark-defaults.conf";org.apache.spark.launcher.AbstractCommandBuilder/** * Loads the configuration

2016-10-11 11:50:25 3951

转载 可变长度参数和_*符号

Scala 允许你指明函数的最后一个参数可以是重复的。这可以允许客户向函数传入可变长度参数列表。想要标注一个重复参数,在参数的类型之后放一个星号。例如:scala> def echo(args: String*) =for (arg <- args) println(arg)echo: (String*)Unit这样定义, echo 可以被零个至多个 String 参数调用:s

2016-10-10 14:38:24 501

Hive 性能测试程序,https://github.com/hortonworks/hive-testbench 编译

Hive 性能测试程序,https://github.com/hortonworks/hive-testbench 编译

2023-02-24

Tez 的设计者在 Hadoop 大会上的分享

1. Tez 的设计思想和解决的问题。

2022-03-15

Transactional Operations in Apache Hive: Present and Future

Hive 事务设计

2022-03-01

The Log-Structured Merge-Tree (LSM-Tree).pdf

The Log-Structured Merge-Tree (LSM-Tree).pdf

2021-06-22

Distributed cycle detection in large-scale sparse graphs.pdf

分布式大规模环检测的计算方法。In this paper we present a distributed algorithm for detecting cycles in large-scale directed graphs, along with its correctness proof and analysis. The algorithm is then extended to find strong components in directed graphs. We indicate an application to detecting cycles in number theoretic functions such as the proper divisor function. Our prototype implementation of the cycle detection algorithm, when applied to the proper divisor function, detects all sociable groups of numbers (cycles in the proper divisor function) up to 107.

2020-08-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除