自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Lord_War的博客

今天只有残留的躯壳 迎接光辉岁月

  • 博客(10)
  • 资源 (1)
  • 收藏
  • 关注

转载 flume将数据发送到kafka、hdfs、hive、http、netcat等模式的使用总结

1、source为http模式,sink为logger模式,将数据在控制台打印出来。conf配置文件如下: //Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1//Describe/configure the source a1.sources.r1.type = ht...

2018-07-13 14:34:18 943

转载 数据结构与算法(java版)

转自:http://blog.csdn.net/column/details/datastructureinjava.html 目录 (1)数据结构与算法概念解析 (2)数据结构之数组 (3)数据结构之栈 (4)数据结构之队列 (5)数据结构之链表 (6)数据结构之二叉树 (7)数据结构之霍夫曼树 (8)数据结构之红黑树(一)——基础分析 (9)数据结构之红黑树(二)——插入操作

2017-12-28 21:50:08 7730

转载 HBase性能优化方法总结

本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,这里涉及的不多。

2017-12-24 20:43:58 683

原创 HDFS之数据完整性校验

HDFS数据处理中我们都不希望数据在存储和处理数据时丢失或者损坏,那如何保证数据完整性呢?

2017-12-09 11:43:48 4089

原创 HDFS体系架构(最全)

HDFS 采用Master/Slave的架构来存储数据,这种架构主要由四个部分组成,分别为HDFS Client、NameNode、DataNode和Secondary NameNode。本文将一一介绍各个组成部分的定义、作用。

2017-12-06 09:25:57 17896 1

转载 Hadoop的三种作业调度原理汇总

Hadoop的三种作业调度方式总结

2017-12-03 23:22:40 564

转载 Hive 数据倾斜总结

Hive 数据倾斜总结

2017-12-03 23:04:13 307

转载 hadoop中使用MapReduce编程实例(转---超级实用)

hadoop中使用MapReduce编程实例

2017-12-03 00:18:15 1282

原创 Eclipse中编译FileUtil.java

问题:在windows的eclipse中运行hadoop1.x MapReduce程序会报错: Java.io.IOException: Failed to set permissions of path: \tmp\Hadoop-Administrator\mapred\staging\Administrator-519341271.staging to 0700

2017-12-02 22:36:22 681

原创 eclipse+hadoop环境搭建及注意事项

搭建eclipse+hadoop1.2.1开发环境以及注意事项

2017-11-30 23:51:58 3382

hadoop-core-1.2.1.jar

由于hadoop1.2.1+eclipse在Windows环境下运行存在的文件权限问题,所以原始的hadoop-core-1.2.1.jar不可用,需要修改fileutil.java文件,本jar为编译成功的,亲测可用。

2017-12-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除