自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

houzhizhen的专栏

bigdata hobbyist

  • 博客(5)
  • 资源 (4)
  • 收藏
  • 关注

原创 先分组求最大值,再把所有组求和的hive自定义UDAF

参数可变,除最后一个外,都是分组字段。 import java.math.BigDecimal; import java.util.HashMap; import java.util.Map; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apach

2015-03-30 16:30:50 2518 1

原创 分组查找出现最多的元素hive自定义UDAF

import org.apache.hadoop.hive.ql.udf.generic.*; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.hadoop.hive.ql.exec.Description; import org.apach

2015-03-30 16:27:33 1697

原创 用sed命令替换一个目录下全部文件的内容

用sed 命令把本目录下的所有sh文件中的"letv3"替换成"letv4" sed -i 's/letv3/letv4/g' ./*.sh

2015-03-12 10:35:36 4568

原创 zookeeper hadoop-ha znode丢失导致hadoop不能failover的解决办法

今天系统维护,hdfs haadmin -failover nn1 nn2 失败。 用jps查看java进程,发现没有DFSZKFailoverController进程。 打开zkfc的日志,发现以下内容: 2015-03-06 14:24:38,262 FATAL org.apache.hadoop.ha.ZKFailoverController: Unable to start fa

2015-03-06 15:07:47 10901

原创 hive用mysql保存元数据(metadata)

1.在mysql专门为hive添加用户 Java代码   mysql> CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';  mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;   2.修改配置文件conf/hive-site.xml

2015-03-05 11:20:33 2426

Hive 性能测试程序,https://github.com/hortonworks/hive-testbench 编译

Hive 性能测试程序,https://github.com/hortonworks/hive-testbench 编译

2023-02-24

Tez 的设计者在 Hadoop 大会上的分享

1. Tez 的设计思想和解决的问题。

2022-03-15

Transactional Operations in Apache Hive: Present and Future

Hive 事务设计

2022-03-01

The Log-Structured Merge-Tree (LSM-Tree).pdf

The Log-Structured Merge-Tree (LSM-Tree).pdf

2021-06-22

Distributed cycle detection in large-scale sparse graphs.pdf

分布式大规模环检测的计算方法。In this paper we present a distributed algorithm for detecting cycles in large-scale directed graphs, along with its correctness proof and analysis. The algorithm is then extended to find strong components in directed graphs. We indicate an application to detecting cycles in number theoretic functions such as the proper divisor function. Our prototype implementation of the cycle detection algorithm, when applied to the proper divisor function, detects all sociable groups of numbers (cycles in the proper divisor function) up to 107.

2020-08-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除