自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

小虹尘的博客

我也要用
排序：
默认
按更新时间
按访问量
RSS订阅

原创 CentOs7安装RabbitMQ

一、环境准备   下载erlang和rabbitmq-server的rpm 二、安装RabbitMQ   1.将下载的rmp包上传到Linux上     2.安装erlang    rpm -ivh erlang-19.0.4-1.el7.centos.x86_64.rpm   可以使用erl...

2017-01-12 15:41:33

阅读数 2734

评论数 0

原创 本地yum配置

一、为什么要制作yum源          YUM源虽然可以简化我们在Linux上安装软件的过程，但是生成环境通常无法上网，不能连接外网的YUM源，说以接就无法使用yum命令安装软件了。为了在内网中也可以使用yum安装相关的软件，就要配置yum源 二 、本地yum源的制作------>...

2017-01-10 14:23:34

阅读数 295

评论数 0

原创 Linux安装mysql------>CentOs7安装mysq

一 、软件安装 1. 下载mysql的repo源 $ 下载地址： mysql-community-release-el7-5.noarch.rpm 2. 上传到linux，并安装mysql-community-release-el7-5.noarch.rpm包 $ su...

2017-01-05 14:30:23

阅读数 227

评论数 0

原创 Hadoop之Hbase------>Hbase常用命令

首先进入hbase命令行（在../hbase/bin目录下操作) ./hbase shell               显示hbase中的表 list 帮助 help ‘create’ 创建user表，包含info、data两个列族 create 'user', 'info1...

2017-01-03 09:30:32

阅读数 262

评论数 0

原创 Hadoop之Hbase------>Hbase集群搭建

一、环境准备 1.zookeeper集群已经成功搭建 ------->zookeeper集群搭建 2.hadoop集群已经成功搭建     ------->hadoop集群搭建 3.hbase安装包   下载地址：http://apache.fayea.com/hbase/sta...

2017-01-03 09:20:33

阅读数 270

评论数 0

原创 hadoop之HA架构----->NameNode的高可靠性缘由

注意：只有hadoop2.x以后才有HA机制 一 、概念性 1.ZKFC（DFSZKFailoverController）------>故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为active状态 2.NameService...

2016-12-27 10:11:51

阅读数 813

评论数 0

原创 hadoop2.7.3集群搭建------>真正的分布式环境

一、集群股规划 主机名 IP 安装的软件 运行的进程 hadoop01    192.168.19.132      jdk、hadoop                  NameNode、DFSZKFailoverController(zkfc) hadoop02    192.168.19....

2016-12-26 14:01:44

阅读数 1869

评论数 0

原创 hadoop之sqoop------>数据迁移工具

一、环境准备  1. sqoop工具  ------->sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz  2. mysql安装包------>mysql-5.7.17-winx64.zip  3.mysql数据库连接工具------>Navi...

2016-12-26 10:15:24

阅读数 471

评论数 0

原创 hadoop之sqoop准备工作------>windows10安装mysql

一 、软件安装 1.下载地址：http://dev.mysql.com/downloads/file/?id=467269 2.解压缩mysql-5.7.17-winx64.zip，我这里将文件解压到了E盘，放到了文件夹mysql5.7中。 3.在安装目录下新建一个my.ini文件，然...

2016-12-26 10:01:06

阅读数 1235

评论数 0

原创 Linux搭建svn服务器

1、安装软件 [root@hadoop03 ~]# yum install subversion -y 2，创建版本库 svnadmin create /home/mysvn    //这里的文件目录自己随便设置   3，配置svnserve 上述版本库/home/mysvn 建立后在文件...

2016-12-22 14:49:56

阅读数 527

评论数 0

原创 hadoop之zookeeper集群搭建

一 、zookeeper简介    有一个leader，n个follower     二 、作用    对hadoop ------>确保集群中只有一个活跃的NameNode...    对HBase  ------>确保集群中只有一个HMaster...     三...

2016-12-21 21:48:47

阅读数 432

评论数 0

原创 nginx服务器安装及部署

一 、环境准备   1. 下载nginx  下载地址：http://nginx.org/en/download.html    2.上传到虚拟机上，并解压    tar -zxvf nginx-1.8.1.tar.gz 二 、安装nginx  1.进入nginx目录并输入以下命令进行配置： ...

2016-12-20 22:34:00

阅读数 186

评论数 0

原创 hadoop之shuffle------>MapReduce的心脏i

一 、shuffle简介    什么是shuffle     一句话：Reducer端获取Mapper端的数据的过程 二、shuffle工作流程   1.Map读取输入文件 ------>进行map计算 ------>Mapper将数据写入到环形缓冲区   注意：1.一...

2016-12-18 11:06:39

阅读数 260

评论数 0

原创 hadoop之shuffle------>soft和combiner

一 、shuflle之soft  此处用一个具体的实例来说明soft机制 实例：    1.  需求 账号                                收入      支出     日期 zhangsan@163.com 6000 0 2014-02-20 li...

2016-12-18 10:23:34

阅读数 368

评论数 0

原创 hadoop之shuffle------>分区机制Partitioner

一 、需求    用一个具体需求实例来说明Partitioner分区机制 例如： 将下列手机号进行分区，135,136,137,138，139等开头的手机号放到一个文件，150，159等开头的手机号放到一个文件，182，183等开头的手机号放到一个文件，其他手机号放到一个文件 手机号...

2016-12-13 21:46:48

阅读数 1878

评论数 0

原创 Hadoop之Mapreduce------>3种运行模式

一 、本地模式运行 1/在windows的idea里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行       ----输入输出数据可以放在本地路径下（c:/wc/srcdata/）       ----输入输出数据也可以放在hdfs中(hdfs...

2016-12-11 16:15:39

阅读数 890

评论数 0

原创 hadoop提交作业------>yarn提交job的源码跟踪

一、流程分析图 二 、代码跟进 waitForCompletion(){   submit() } ------> class job{   private Cluster cluster;   submit(){ connect(){ cluser = ne...

2016-12-11 10:16:13

阅读数 870

评论数 0

原创 最好的代码开发工具------>IntelliJ IDEA

一、IntelliJ IDEA下载             下载地址： https://www.jetbrains.com/idea/download/ 二、IntelliJ IDEA快捷键设置   File ------>Settings------>Keymap---...

2016-12-09 10:28:10

阅读数 342

评论数 0

原创 Hadoop提交作业------>hadoop工作流程

一 、需要知道的内容 1.ResourceManager ------>yarn的老大 2.NodeManager        ------>yarn的小弟 3.ResourceManager调度器   a.默认调度器------>先进先出FIFO               ...

2016-12-08 20:55:08

阅读数 4166

评论数 0

原创 Hadoop之Mapreduce------>入门级程序WordCount代码编写

一 、Mapper编写 继承Mapper类------>重写map方法------>实现具体业务逻辑------>将新的key,value输出 public class WCMapper extends Mapper {     @Override     p...

2016-12-07 21:50:48

阅读数 214

评论数 0

提示
确定要删除当前文章？
取消 删除