Thinking

兵胜非常事,要善于总结

通过maven-shade-plugin 解决Elasticsearch与hbase的jar包冲突问题

http://blog.csdn.net/sunshine920103/article/details/51659936 今天在项目中集成hbase1.0.0-cdh5.5.2和ElasticSearch2.2.0时出现了问题,原先在集成Hbase时,引入了架包com...

2017-01-06 14:22:05

阅读数:762

评论数:0

hbase 表数据迁移

http://blog.csdn.net/xiao_jun_0820/article/details/28615557 1 CopyTable 工具 用法: CopyTable is a utility that can copy part or of a...

2016-04-07 16:25:59

阅读数:484

评论数:0

如何执行hbase 的mapreduce job

http://blog.csdn.net/xiao_jun_0820/article/details/28636309 执行hbase mapreduce的两种方法: 1 使用hadoop命令执行mapreduce job.   采用此方式需要修改hadoop-env.s...

2016-04-07 16:25:07

阅读数:585

评论数:0

HBase依赖的tomcat:jasper-compiler和tomcat:jasper-runtime搞得我web页面的JSP访问失败

http://www.cnblogs.com/nexiyi/p/hbase_dependency_problem.html 引入HBase依赖包带来的麻烦 在一个项目里用到HBase做底层存储,使用maven来管理相关Jar包依赖,用maven来管理依赖包,特别不爽...

2016-04-07 16:21:49

阅读数:1640

评论数:0

浅谈hadoop中mapreduce的文件分发

http://www.it165.net/pro/html/201405/14740.html 最近在做数据分析的时候,需要在mapreduce中调用c语言写的接口,此时就需要把动态链接库so文件分发到hadoop的各个节点上,原来想自己来做这个分发,...

2016-04-07 16:15:27

阅读数:782

评论数:0

MapReduce程式调用第三方包

MapReduce程式调用第三方包:我在使用过程中需要用到hbase的jar包,若要使用,常规是添加到每台机器的classpath中,但是通过DistributeCache,在初始化前加入就ok了。要不就要将这些jar包打成一个新jar,通过hadoop jar  XXX.jar运行,但是不利于代...

2016-04-07 16:07:07

阅读数:239

评论数:0

Hadoop DistributedCache使用及原理

http://blog.csdn.net/xiaolang85/article/details/11782539 概览 DistributedCache 是一个提供给Map/Reduce框架的工具,用来缓存文件(text, archives, jars an...

2016-04-07 10:36:27

阅读数:302

评论数:0

hadoop mapreduce核心功能描述

http://www.open-open.com/lib/view/open1337349822015.html 核心功能描述 应用程序通常会通过提供map和reduce来实现 Mapper和Reducer接口,它们组成作业的核心。 Mapper ...

2016-04-07 10:15:19

阅读数:234

评论数:0

使用ToolRunner运行Hadoop程序基本原理分析

http://blog.csdn.net/jediael_lu/article/details/38751885  为了简化命令行方式运行作业,Hadoop自带了一些辅助类。GenericOptionsParser是一个类,用来解释常用的Hadoop命令行选项,并根据需要...

2016-04-07 09:56:23

阅读数:250

评论数:0

Hadoop 2.2 & HBase 0.96 Maven 依赖总结

http://blog.csdn.net/huoyunshen88/article/details/39083247 由于Hbase 0.94对Hadoop 2.x的支持不是非常好,故直接添加Hbase 0.94的jar依赖可能会导致问题。      但是直接添加Hbase0....

2016-04-06 09:30:16

阅读数:311

评论数:0

Mapreduce部署与第三方依赖包管理【hadoop mapreduce第三方jar包maven管理瘦身版本和臃肿版本各取所需】

http://www.tuicool.com/articles/6NjQ7fm Mapreduce部署是总会涉及到第三方包依赖问题,这些第三方包配置的方式不同,会对mapreduce的部署便捷性有一些影响,有时候还会导致脚本出错。本文介绍几种常用的配置方式: 1...

2016-04-05 17:38:45

阅读数:1701

评论数:0

gpssh-exkeys ganglia perf stat【gp管理集群文件】

http://blog.csdn.net/rgb_rgb/article/details/20713655

2015-12-24 11:08:12

阅读数:1326

评论数:0

Top K 算法详解

百度面试题: 搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来,每个查询串的长度为1-255字节。 假设目前有一千万个记录(这些查询串的重复度比较高,虽然总数是1千万,但如果除去重复后,不超过3百万个。一个查询串的重复度越高,说明查询它的用户越多,也就是越热门。),请你统...

2015-11-28 17:46:25

阅读数:1442

评论数:0

LRU缓存介绍与实现 (Java)

文章来源:http://blog.csdn.net/beiyeqingteng/article/details/7010411 引子: 我们平时总会有一个电话本记录所有朋友的电话,但是,如果有朋友经常联系,那些朋友的电话号码不用翻电话本我们也能记住,但是,如果长时间没有联系了,要再...

2015-11-28 16:43:44

阅读数:317

评论数:0

缓存淘汰算法--LRU算法【最近最少使用算法LRU置换策略适用于热点数据比较多的场景】

文章来源:http://flychao88.iteye.com/blog/1977653 缓存淘汰算法--LRU算法 博客分类:  java基础   1. LRU 1.1. 原理 LRU(Least recently used,最近最少使用)算法根据数据的历史访问记录来进行淘汰...

2015-11-28 16:27:28

阅读数:5699

评论数:0

Eclipse调用hadoop2运行MR程序

文章来原:http://blog.csdn.net/fansy1990/article/details/22896249   Eclipse调用hadoop2运行MR程序 2014-04-03 22:03 10307人阅读 评论(10) 收藏 举报  分类:...

2015-11-27 16:23:38

阅读数:395

评论数:0

Linux在添加防火墙规则中如何让某一段的ip地址可以和服务器的数据互访?

-A的意思是在原规则的后边添加新规则 -i表示进入接口,比如eth0、lo等,与INPUT链对应 -s表示源地址 -j后边跟动作,比如丢弃、接收或者记录等 iptables -A INPUT -i eth0 -s 192.168.1.0/24 -j ACCEPT ...

2015-11-27 16:11:24

阅读数:389

评论数:0

Linux下iptables 禁止端口和开放端口(仅供参考,里面含有iptables如何指定允许外网访问的端口号范围,以及对局域网的ip全部开放端口)

文章来源:http://blog.csdn.net/zht666/article/details/17505789   Linux下iptables 禁止端口和开放端口 2013-12-23 15:45 13301人阅读 评论(0) 收藏 举报  分类: ...

2015-11-27 15:39:57

阅读数:10351

评论数:0

Hadoop2.x版本的eclipse插件问题汇总

问题一: 最近搭建hadoop-2.6.0之后,在Window8系统中,将自己ant编译的hadoop-eclipse-plugin-2.6.0放在eclipse\plugins\目录下,重启eclipse之后,发现该插件没法使用! 解决办法是: 启动eclipse的时候清理一下缓存。  ec...

2015-11-26 07:15:38

阅读数:241

评论数:0

Hadoop平台优化综述

文章来源:http://dongxicheng.org/mapreduce/hadoop-optimization-0/ 1.     概述 随着企业要处理的数据量越来越大,MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现,由于其良好的扩展性和容...

2015-11-25 17:26:58

阅读数:288

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭