hadoop
a2615381
这个作者很懒,什么都没留下…
展开
-
hadoop本地调试模式,测试 mapreducer
这次使用的是 win下开发 MR代码,可以进行debug模式进行调试,当没有问题的时候,可以修改一下源文件名 ,然后上传到linux运行基本数据dept文件内容:10,ACCOUNTING,NEW YORK20,RESEARCH,DALLAS30,SALES,CHICAGO40,OPERATIONS,BOSTON emp文件内容:7369,SMITH,CL原创 2016-04-05 15:05:04 · 4273 阅读 · 0 评论 -
MapReducer多表查询
一个例子晚上例子,别处看来的,但是有些代码看不懂表1factoryname addressedBeijing Red Star 1Shenzhen Thunder 3Guangzhou Honda 2Beijing Rising 1Guangzhou Development Bank 2Tencent 3Back of Beijing 1表2addr原创 2017-06-24 17:51:02 · 972 阅读 · 0 评论 -
bringing up interface eth0: error no suitable device found
虚拟机克隆的时候出现的问题,会因为复制了网卡信息导致这个情况,具体处理方式如下解决办法:首先,打开/etc/udev/rules.d/70-persistent-net.rules内容如下面例子所示:# This file was automatically generated by the /lib/udev/write_net_rules# program,原创 2017-02-02 17:12:34 · 4319 阅读 · 0 评论 -
mapreducer数据结果输出到mysql
package com.xxxx.wujiang.mysql;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.io.UnsupportedEncodingException;import java.sql.PreparedStatement;import原创 2016-12-02 14:16:17 · 1494 阅读 · 0 评论 -
HADOOP单机模式安装
1.1修改主机名vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=itcast ###1.2修改IP两种方式:第一种:通过Linux图形界面进行修改(强烈推荐)进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击ed原创 2016-11-30 23:42:36 · 311 阅读 · 0 评论 -
Hbase的协处理器
1.起因(Why HBase Coprocessor)HBase作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执行求和、计数、排序等操作。比如,在旧版本的(统计数据表的总行数,需要使用Counter方法,执行一次MapReduce Job才能得到。虽然HBase在数据存储层中集成了MapReduce,能够有效用于数据表的分布式计算。然而在很多情况下,做一些简单原创 2016-05-09 15:51:48 · 3535 阅读 · 0 评论 -
Hbase入门API操作和 shell操作
package cn.itcast.bigdata.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDesc原创 2016-04-25 15:27:03 · 1382 阅读 · 0 评论 -
Hbase新手技术入门
HBase是什么?HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示:为什么采用HBase?HBase 不同于一般的关系数据库,它是一个适合原创 2016-05-04 15:41:18 · 4741 阅读 · 0 评论 -
基于hadoop的简单网盘实现
使用的是 hadoop2.4 + mysql + fileupload 主要是 使用的这 3个技术 hadoop用于 存储上传数据mysql是 用户的注册以及 查询 fileupload是上传插件(有上传文件大小限制)原创 2016-03-28 22:28:04 · 3364 阅读 · 0 评论 -
windows下JAVA开发操作hadoop的方法
先说一下具体情况,hadoop版本2.4X 本地使用的 eclipse 开发,操作虚拟机中的hadoop系统package cn.itcast.hadoop.hdfs;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.ap原创 2016-04-05 14:40:26 · 1048 阅读 · 0 评论 -
安装 HA-hadoop教程,关键流程
1 安装虚拟机1.1 修改主机名以及hostsvi /etc/sysconfig/networkvi /etc/hosts 1.2 修改IP 图形化修改。 保证可以ping通主机,外网 1.3 关闭防火墙 1.4 ssh免登陆设置, 在 hadoop用户名下使用 1 ssh-keygen -t rsa 生成文件2 ssh-copy-i原创 2017-02-05 22:53:24 · 443 阅读 · 0 评论