自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

数据技术控

学习笔记备忘录。。。

  • 博客(4)
  • 资源 (4)
  • 收藏
  • 关注

转载 HBASE物理存储

HBASE物理存储1 已经提到过,Table中的所有行都按照row key的字典序排列。2 Table 在行的方向上分割为多个Hregion。3 region按大小分割的,每个表一开始只有一个region,随着数据不断插入表,region不断增大,当增大到一个阀值的时候,Hregion就会等分会两个新的Hregion。当table中的行不断增多,就会有越来越多的Hreg

2014-03-23 19:52:11 3294

原创 java实时监听日志写入kafka

目的实时监听某目录下的日志文件,如有新文件切换到新文件,并同步写入kafka,同时记录日志文件的行位置,以应对进程异常退出,能从上次的文件位置开始读取(考虑到效率,这里是每100条记一次,可调整)源码:import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import

2014-03-14 15:18:44 7515

原创 sqoop导出数据到oracle出现错误ORA-12537,ORA-12545

最近SQOOP导到ORACLE的库频繁的报TNS关闭或者主机找不到的错误,错误信息如下都是晚上大批量作业跑的时候出的错误,TNS直接关闭了,白天单独跑没问题,最后解决办法将sqoop的 -m并行的个数调小

2014-03-14 14:19:13 2030

原创 归并排序

public class MergeSort {public static void main(String[] args){int a[]={1,3,0,5,6};MergeSort ms=new MergeSort();ms.sort (a,0,4);for (int i=0;iSystem.out.println(a[i]);}public v

2014-03-13 14:41:31 702

oozie使用整理

此文档主要对oozie的使用方法,基本内容做了一次介绍。

2018-09-21

spark优化实践小记

此文档主要对日常使用spark过程中可能遇到的一些性能优化问题做了一次整理总结

2018-09-21

Percolator分布式事务

Percolator分布式事务介绍,基于BigTable的分布式事务实现

2018-09-21

处理后的ip库

ipku文件为对纯真ip库进行国家,省,市,区县拆分,学校网吧不规范数据处理后的可用文件 ipdata为原始纯真ip库 xuexiao.csv为手工整理的学校网吧对应的地区

2015-11-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除