Hadoop
文章平均质量分 67
__Simon'
如山间清爽的风,如古城温暖的阳光。
展开
-
4.1.0HBase的shell命令行操作
HBase的shell命令行操作一、 启动shell外壳hbase shell 有jar包冲突。hadoop的jar和hbase的jar冲突,删除其中一个(删除hbase的):rm -rf /usr/hbase/hbase-1.2.1/lib/slf4j-log4j12-1.7.5.jar 再次启动shell: 二、 ...原创 2018-04-02 14:17:38 · 405 阅读 · 0 评论 -
1.3.1MapReduce运行自定义的wordcount
MapReduce运行自定义的MapReduce一、 新建MapReduce项二、 引入mapeReduce的依赖包三、 自定义Map函数 1. 自定义map类继承Mapper类并重写map方法 2. Mapper类中四个泛型 分别为KEYIN、VALUEIN、KEYOUT...原创 2018-03-27 10:25:12 · 217 阅读 · 0 评论 -
1.3.0MapReduce运行自带的wordcount例子
MapReduce运行自带的wordcount一、 找到hadoop-mapreduce-examples-2.2.0.jar二、 在HDFS文件系统上新建数据目录hadoop fs -mkdir -p三、 将本地文件上传到HDFS中 1. 先将window文件上传到linux 2. ...原创 2018-03-27 10:00:13 · 1000 阅读 · 2 评论 -
1.1.4开始学习hadoop--配置hadoop集群
开始学习hadoop--配置hadoop集群一、 修改master主机中的slave文件vim/usr/hadoop/hadoop-2.6.4/etc/hadoop/slaves二、 修改hdfs-site.xml文件中的dfs.replication属性vim /usr/hadoop/hadoop-2.6.4/etc/hadoop/hdfs-site.xml将值改为3(只...原创 2018-03-27 09:31:37 · 229 阅读 · 0 评论 -
1.1.5开始学习hadoop--hdfs命令
学习hadoop--hdfs命令一、 查询hadoop fs –ls hdfs://hadoopmaster:9000/hdfs dfs -ls hdfs://hadoopmaster:9000/二、 从本地上传到HDFS copyFromLocalhdfs dfs -copyFromLocal/usr/java/jdk-7u2-linux-i586.r...原创 2018-03-27 09:31:29 · 516 阅读 · 0 评论 -
1.2.0Hadoop的java操作
Hadoop的java操作(Eclipse)一、 创建一个maven工程二、 在pom文件中引入相关jar的依赖引入三个依赖: hadoop-common hadoop-hdfs hadoop-client <!-- 引入hadoop-common包 --> <dependency> <g...原创 2018-03-27 09:31:18 · 138 阅读 · 0 评论 -
1.2.1Hadoop的RPC框架
Hadoop的RPC框架一、 RPC 远程过程调用框架二、 新建两个项目(服务端和客户端)三、 引入hadoop-common的相关依赖 maven项目引入pom文件 普通项目引入hadoop解压之后share下面的jar包 四、 服务端 1. 新...原创 2018-03-27 09:31:03 · 163 阅读 · 0 评论 -
1.1.3开始学习hadoop--配置主从服务器SSH免密登录
学习hadoop-配置主从服务器SSH免密登录一、 开启三台虚拟机二、 修改主机名称文件 vim /etc/sysconfig/networkvim/etc/hosts 1. 修改master主机 2. 修改slave1 3. 修改slave2三、 重启各个机器 四、 ...原创 2018-03-26 16:22:41 · 569 阅读 · 0 评论 -
1.1.2开始学习hadoop--安装多台linux
学习hadoop--安装多台Linux一、 新建两个文件夹,用于保存从服务器二、 克隆一台已经安装好的RedHat 1. 虚拟机处于关闭状态 2. 虚拟机---管理—克隆 3. 开始克隆 4. 默认克隆源 ...原创 2018-03-26 15:58:40 · 316 阅读 · 0 评论 -
1.1.1开始学习hadoop--安装Hadoop
学习hadoop--安装Hadoop一、在/usr文件夹下新建hadoop文件夹(类似java)二、主机安装lrzsz用于上传接受文件(tar包)在/usr文件下新建lrzsz文件夹上传lrzsz的rpm文件安装报警告(我也不知道原因,忽略之后能正常上传tar包)三、上传hadoop安装包四、安装hadoop 使用 t...原创 2018-03-26 15:47:52 · 268 阅读 · 0 评论 -
1.1.0开始学习hadoop--安装JDK
学习hadoop—安装JDK关闭防火墙: chkconfig iptables off关闭sendmail: chkconfig –level 2345sendmail off一、 使用远程工具Xshell连接Linux二、 更改主机名 1.使用root用户登录,输入命令vi /etc/sysco...原创 2018-03-26 15:32:43 · 228 阅读 · 0 评论 -
1.3.2MapReduce实现序列化Writable
MapReduce实现序列化一、 新建一个java项目二、 实现mapper接口三、 自定义对象实现序列化接口四、 实现write和redFields方法五、 由于反射机制,必须对自定义对象添加无参构造六、 完成mapper类七、 完成reducer八、 完成Runner九、 打包十、 上传将数据源文件上传到hdfs ...原创 2018-03-27 12:04:07 · 316 阅读 · 0 评论 -
1.3.3MapReduce实现指定分区Partitioner
MapReduce实现指定分区Partitioner一、 用途Partition就是对map输出的key进行分组,不同的组可以指定不同的reducetask处理。相同的key一定在同一个组中。Partition功能由partitioner的实现子类来实现。二、 需求不同省份流量数据汇总。三、 简化分析四、 创建项目五、 编写Mapper、Red...原创 2018-03-27 15:17:52 · 381 阅读 · 0 评论 -
3.1.2zookeeper实现服务器列表动态更新(案例)
zookeeper实现服务器列表动态更新一、 新建类二、 创建zookeeper客户端连接三、 创建子节点四、 调用方法,往zk注册服务器信息五、 模拟服务端的业务功能六、 创建根节点/servers七、 设置run的参数八、 启动第一个程序九、 启动第二个程序...原创 2018-04-02 12:57:26 · 432 阅读 · 0 评论 -
3.1.1zookeeper的java客户端初步使用
zookeeper的java客户端初步使用一、 新建项目二、 加入zookeeper的依赖包三、 实现连接zookeeper服务 1. 创建一个客户端 2. 查看根节点下的子节点列表 3. 测试连接 更改主机名为ip测试成功 四、 创建znode ...原创 2018-04-02 12:51:51 · 186 阅读 · 0 评论 -
3.1.0zookeeper的命令行操作
zookeeper的命令行操作一、 开启zookeeper客户端二、 命令 1. ls path 2. 创建节点 3. 获取节点下的内容 4. 修改数据三、 不同的客户端操作不同的zookeeper服务器。都会做相应的数据改变,因为zookeeper是有lead...原创 2018-04-02 12:44:48 · 177 阅读 · 0 评论 -
3.0.0安装zookeeper
安装zookeeper一、 新建zookeeper文件夹二、 上传tar包三、 解压tar -zxvf zookeeper-3.4.6.tar.gz四、 更改配置文件 进入zookeeper安装目录下的conf目录: 复制zoo.cfg文件: 修改zoo.cfg ...原创 2018-04-02 12:38:32 · 202 阅读 · 0 评论 -
2.2.2Hive创建索引
Hive创建索引一、 意义 索引是标准的数据库技术,用户可以在某些列上创建索引来加速某些操作,给一个表创建的索引数据被保存在另外的表中。 用户可以使用EXPLAIN语法来分析HiveQL语句是否可以使用索引来提升用户查询的性能。索引需要更多的磁盘空间,并且创建维护索引也会有一定的代价。用户必须要权衡从索引得到的好处和代价。二、 创建一张表 ...原创 2018-04-02 11:51:29 · 1280 阅读 · 0 评论 -
2.2.1Hive内置数据类型
Hive内置数据类型一、 Hive的内置数据类型分为两大类 基础数据类型 复杂数据类型二、 基础数据类型TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DATE三、 复杂数据类...原创 2018-04-02 11:17:34 · 691 阅读 · 0 评论 -
2.2.0Hive数据库表的操作
Hive数据库表的操作一、 创建数据库1. CREATE DATABASE语句 Hive数据库是一个命名空间或标的集合。 语法:CRAETE DATABASE | SCHEMA [IF NOTEXISTS] <database name>2. 创建数据库:create database if not exists...原创 2018-04-02 10:38:47 · 324 阅读 · 0 评论 -
2.1.1安装Hive--(MySQL数据库)
安装Hive--(MySQL数据库)一、 安装模式 1. 内嵌模式:元数据保持在内嵌的Derby模式,只允许一个会话连接(默认) 2. 本地独立模式:在本地安装Mysql,把元数据放到Mysql内 3. 远程模式:元数据放置在远程的Mysql数据库。二、 准备驱动包 ...原创 2018-03-28 16:31:04 · 496 阅读 · 0 评论 -
1.3.5MapReduce排序
MapReduce排序一、 场景数据 1. 如果按照第一列升序排列。(第一列相同时,按照第二列升序) 2. 如果当第一列相同时,求出第二列的最小值二、 默认排序partial 1.在hadoop默认排序算法中,只会对key值进行排序。 代码:package com.simon.hadoop;import...原创 2018-03-27 16:43:17 · 340 阅读 · 0 评论 -
1.3.4Hadoop实现指定排序
Hadoop实现指定排序一、 需求:基于流量汇总进行排序,按流量总和倒序排列。二、 Map输入就是上次流量汇总的结果。三、 新建java项目四、 用一个主类完成 1. 用内部类定义mapper 2. 定义FlowBean 实现比较方法: 3. 定义reducer...原创 2018-03-27 15:33:52 · 521 阅读 · 0 评论 -
4.0.0安装HBase
安装Hbase一、 安装环境 安装Hbase需要hadoop平台hdfs,分布式系统需要zookeeper的分布式协调服务。在操作之前需要启动hdfs和zookeeper。 注意各个节点的时间一定要同步。可用命令(ntpdate time.windows.com),否则会启动失败。二、 上传安装包hbase-1.2.1 ...原创 2018-04-02 13:15:09 · 165 阅读 · 0 评论