大数据
文章平均质量分 80
izzzyx
这个作者很懒,什么都没留下…
展开
-
eclipse远程调试搭载在Linux上的Hadoop的步骤
开发环境:1.hadoop-0.20.02.eclipse 3.6.23.linux的版本是centos 6.2在开始配置eclipse之前,先要在Linux上安装并配置好hadoop。我在装hadoop的时候出现过运行start-all.sh报permission denied错误的问题,当时我使用的是root账户,百度说hadoop有自己的权限系统,需要给root账原创 2015-08-18 14:56:58 · 1293 阅读 · 2 评论 -
Kafka使用调研
章节导航Kafka是什么?Kafka使用场景及特性Kafka架构Kafka配置使用Kafka的两种方式:命令行和APIKafka是什么?试想一下我们现在有一个分布式的网站流量分析系统,我们有多台用于记录用户行为的服务器,前端经过负载均衡将用户行为记录在这些服务器上,每台服务器拥有一部分纪录。 然后问题来了,如何做到实时分析?不可能在每台机上部署一个分析程序,这样会存在数据同步和容错问题原创 2017-03-25 20:15:01 · 990 阅读 · 0 评论 -
hadoop二次排序
package example;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.原创 2016-11-11 00:00:13 · 307 阅读 · 0 评论 -
Text和String的区别
Text和String的区别主要在于几个关于位置和长度的方法(lenght、indexOf(find)、charAt)所针对的对象不同,Text的位置是UTF-8编码后的字节偏移量,长度是UTF-8编码后的字节数组大小,而String针对的是Java char(String有一个codePointAt方法可以获得和Text的charAt一样的效果)。一个来自《Hadoop 权威指南》的例子:原创 2016-05-28 10:38:34 · 7499 阅读 · 1 评论 -
sqoop使用报告:安装、向oracle导数据
前面的废话:准备换工作了,开始整理这份工作中的笔记。使用sqoop的契机是公司有从hdfs往oracle导数据的需求,于是本白板小号硬着头皮网上搜寻了一圈,找到了sqoop,赶时间就没有细究官方文档了,好在网上资料不少,我要求也不高,最后总算是成功了,特此记录,以供自己以后温习。这次只是导出数据,所以对sqoop的研究很浅,之后有所获再继续补充。开发环境:1.cen原创 2016-05-12 10:50:47 · 566 阅读 · 0 评论