![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
yangtom249
这个作者很懒,什么都没留下…
展开
-
Hadoop创建(上传)文件
1、本地创建文件备注:该文件第一行有误,故此报错(command not found),应该是:#my first shell test2、上传到Hadoop将本地文件myfirst.sh上传到已创建的hadoop目录中 /** * 本地文件上传到hadoop目录 */ public void upload(){ String srcFile = "/home/cent/D...原创 2018-12-26 13:53:47 · 4356 阅读 · 0 评论 -
HBase的API操作(DDL)
使用HBaseAdmin进行DDL操作,Admin API 与 RDBMS 的 Data Definition Language (DDL) 类似,提供了各种数据管理操作功能:创建表,检查表是否存在,修改表和列族定义,删除表等。原创 2019-02-13 15:43:11 · 347 阅读 · 0 评论 -
Hadoop创建目录
1、hadoop命令安装路径下:hadoop-2.8.5/share/doc/hadoop/hadoop-project-dist/hadoop-common/FileSystemShell.html比如,创建目录:mkdirUsage: hadoop fs -mkdir [-p] 2、API创建目录2.1、测试类package test.myhadoop;import java...原创 2018-12-26 11:28:32 · 15516 阅读 · 0 评论 -
Linux安装hadoop
前提hadoop2.8.5wget下载hadoop,或如果是虚拟机,也可以使用sftp从windows上传hadoop文件wget -P /home/cent/Downloads https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gzsftp从windows上传had...原创 2018-12-25 21:13:30 · 552 阅读 · 0 评论 -
Linux下Hbase安装配置
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。经常被描述为一种稀疏的,分布式的,持久化的,多维有序映射,它基于行键、列键和时间戳建立索引,是一个可以随机访问的存储和检索数据的平台。HBase不限制存储的数据的种类,允许动态的、灵活的数据模型,不用SQL语言,也不强调数...原创 2019-01-04 13:19:23 · 2348 阅读 · 0 评论 -
MapReduce演练DBCountPageView
An example job that count the pageview counts from a database.定义读取数据库表的输入类AccessRecord,继承DBWritable.Objects that are read from/written to a database should implement DBWritable.使用oracle数据库,注意添加对应jar包。原创 2018-12-27 15:50:44 · 139 阅读 · 0 评论 -
MapReduce演练Grep(Sort)
Grep - A map/reduce program that counts the matches of a regex in the input.GrepSort演示了使用系统自带的Mapper和Reducer类,即可满足运行;同时,也演示了两个job的串联运行,第一个job的结果是第二个job的输入。原创 2018-12-27 15:00:02 · 337 阅读 · 0 评论 -
MapReduce程序开发组件说明
MapReduce程序主要分为两个阶段:Map Task和Reduce Task,开发人员只需实现map()和reduce()两个函数,即可实现分布式计算。原创 2018-12-27 12:51:07 · 1528 阅读 · 0 评论 -
MapReduce演练WordCount
1、官方示例代码安装hadoop后,默认带有示例代码,包括著名的WordCount示例代码路径:hadoop-2.8.5/share/hadoop/mapreduce/sources/2、重写WordCount.javapackage test.word;import org.apache.hadoop.conf.Configuration;import org.apache.had...原创 2018-12-26 17:12:55 · 151 阅读 · 2 评论 -
HBase的API操作(DML)
DML主要包括INSERT、UPDATE、DELETE三种指令,一般情况下,数据库的初始基本操作通常称为 CRUD (create, read, update, and delete), 指的是 增、查、改、删四种操作。HBase 中有与之对应的的一组操作,由Table interface 接口提供。原创 2019-02-13 16:54:17 · 256 阅读 · 0 评论