- 博客(13)
- 资源 (11)
- 收藏
- 关注
RSS订阅转载 Cassandra集群各个节点之间的通讯
Cassandra集群没有中心节点，各个节点的地位完全相同，它们通过一种叫做gossip的协议维护集群的状态。通过gossip，每个节点都能知道集群中包含哪些节点，以及这些节点的状态，这使得Cassandra集群中的任何一个节点都可以完成任意key的路由，任意一个节点不可用都不会造成灾难性的后果。一、Gossip算法背景 Gossip算法如其名，灵感来自办公室八卦，只要一个人
2015-03-28 22:58:06
4687
转载 cassandra的数据模型
我们来深入了解一下cassandra的数据模型。cassandra是一种NoSQL数据库，NoSQL并不是指没有SQL语句，而是指No Relational。cassandra的数据模型结合了Dynamo的key/value和BigTable 的面向列的特点，主要被设计为存储大规模的分布式数据。一、cassandra数据模型的特点 1.它基于key-value
2015-03-28 17:22:44
1734
原创 通过eclipse方法来操作Hadoop集群上cassandra数据库（包括创建Keyspace对象以及往数据库写入数据）
通过eclipse方法来操作Hadoop集群上cassandra数据库（包括配置cassandra，创建Keyspace对象以及往数据库写入数据）；创建map/reduce工程，命名为CassandraPro,需要把cassandra的lib目录下的jar包拷贝到hadoop的lib目录下；然后创建class，命名为TestClient；
2015-03-28 14:07:52
1095
转载 Apache Pig的一些基础概念及用法总结
转载出处：http://www.codelast.com/本文可以让刚接触pig的人对一些基础概念有个初步的了解。本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及注解
2015-03-26 22:31:18
1971
原创 Hadoop集群上基于Pig的通话记录的查询及错误排解（ERROR 2998: Unhandled internal error. name）
问题说明：由于电信公司一般把通话记录CDR存放在传统的关系数据库中,需要统计或者查询时，只需要简单的几条sql语句即可查找出来；但是随着数据量的不断增大，特别数据量达到海量级别时，如果还是从传统数据库来进行查找的话，将是非常费时的；由于查询可以分解为过滤，聚合，统计等步骤，用分布式（mapreduce）的方式来处理是十分适合的。因为操作对每一条记录都是独立的，因此可以将表中所有数据存放在hdfs的一个文件cdr.txt中，由于cdr.txt在HDFS中是存放在多台计算机中，之间没有相关性，因此可以将计算分布
2015-03-25 20:39:02
1477
原创 基于Hive的hadoop日志的分析及错误排解(eclipse上运行出现错误：Access denied for user ... (using password: YES))
基于Hive的hadoop集群日志的分析及错误排解（eclipse上运行出现错误：Access denied for user 'hivenew'@'172.16.2.36' (using password: YES)）;设计思路：利用hive的方法将hadoop中的指定日志存放在hive表中，然后再把hive表中保存的数据进行筛选后导入mysql数据库（对外可以访问的主机上），以供其他人进行访问。(本文主要是建立过程和执行程序的一些细节展示，包含eclipse和hadoop集群运行程序的情况以及错误排解
2015-03-24 11:17:45
1756
原创 Hive的UDAF编程：计算几何平均值
Hive的UDAF编程：计算几何平均值（1）eclipse上创建Map/Reduce工程，命名为GeoMeanPro，在创建前，先把hive/lib目录下的jar包复制到hadoop/lib目录下面；（2）在创建的工程上添加class，新建包com.hive.geomean.udaf,并在包下建立GeoMean.java;（3）GeoMean.java代码见如下；（4）将工程export出jar包，并命名为geomean.jar，然后上传到/home/hadoop/class目录下；（5）Hive
2015-03-23 22:43:44
1293
原创 Hadoop集群之hive集成mysql作为元数据的方法及错误排解（hive-site.xml文件无法生效）
Hadoop集群之hive集成mysql作为元数据的方法及错误排解（hive-site.xml文件无法生效）：hive集成mysql的本地模式不起作用，还发现该目录下生成了metastore_db文件，即derby的默认数据库；证明刚才配置的文件都没有生效；这样的问题继续了好几天，期间也怀疑是不是hive的版本不对，还是安装的mysql版本不匹配，或者mysql的jdbc驱动版本不对，试过很多方法，但是都没有解决问题；通过调试 hive -hiveconf hive.root.logger=DEBUG,c
2015-03-22 14:57:33
4224
原创 创建Hbase索引表之在eclipse上运行与直接在hadoop集群上运行的程序编写的差异
创建Hbase索引表之在eclipse上运行与直接在hadoop集群上运行的程序编写的差异目的：主要是区分在eclipse上编写程序与直接在集群hadoop上编写程序的差异，以更好的理解hadoop的工作原理；它们的差别主要是，在eclipse上编写程序时需要配置mapreduce和配置hbase，并且需要设置输入表的信息以及输出表的信息TableOutputFormat：
2015-03-15 15:00:03
598
原创 通过hadoop实现单词的统计，并将统计结果保存到Hbase以及错误排解：org.apache.hadoop.io.compress.SnappyCodec not found
通过hadoop实现单词的统计，并将统计结果保存到Hbase以及错误排解：java.lang.ClassNotFoundException: org.apache.hadoop.io.compress.SnappyCodec设计思想：通过MR框架来统计给定文件的单词数目，然后把统计结果保存到hbase中
2015-03-12 17:02:18
4073
1
转载 StringTokenizer使用讲解
StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。一.构造函数。1. StringTokenizer(String str)：构造一个用来解析str的StringTokenizer对象。java默认的分隔符是“空格”、“制表符(‘\t’)”、“换行符(‘\n’)”、“回车符(‘\r’)”。2. StringTokenizer(Stri
2015-03-10 21:43:46
1104
原创 Hbase运行时出现的问题（There could be a mismatch with the one configured in the master.）及其解决方法：
Hbase运行时出现的问题（There could be a mismatch with the one configured in the master.）及其解决方法
2015-03-10 16:18:44
1930
原创 Hbase的完全分布式环境的搭建及常见错误的排解（hbase启动后自动关闭的问题分析）
Hbase的完全分布式环境的搭建及常见错误的排解（hbase启动后自动关闭的问题分析）
2015-03-09 23:01:27
853
基于Hive的hadoop集群日志的分析及错误排解
2015-03-24
Hadoop集群上安装hive并运行一个例子
2014-12-25
hive-0.8.1-bin.tar.gz
2014-12-25
Hadoop集群上安装hive并运行一个例子的排错分析
2014-12-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人