![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 67
当以乐
成长是打破枷锁的有效方式.
展开
-
hadoop入门介绍
Hadoop概述Hadoop是一个由Apache基金会的发布的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 1.Hadoop简介Ø hadoop是什么?What Is Apache Hadoop?The Apache™ Hadoop® project develops open-source so原创 2015-12-14 23:52:32 · 543 阅读 · 0 评论 -
Hadoop入门之Yarn调度MR流程
首先明确下Yarn到底是什么? Yarn是一个资源调度系统,主要负责任务的维持及为任务分配需要的运行资源.1.客户端生成相应的文件后,连接resourceManager请求提交一个application2.resourceManager(RM)给客户端返回一个地址,供客户端提交文件.3.Client提交文件到指定的HDFS地址上4.Cli原创 2017-08-28 19:00:58 · 2840 阅读 · 0 评论 -
Hadoop入门之Sqoop的安装和数据导入导出
sqoop安装1、下载并解压最新版下载地址http://ftp.wayne.edu/apache/sqoop/1.4.6/2、修改配置文件$ cd $SQOOP_HOME/conf$ mv sqoop-env-template.sh sqoop-env.sh打开sqoop-env.sh并编辑下面几行:export HADOOP_COM原创 2017-09-22 18:16:57 · 601 阅读 · 0 评论 -
Hadoop入门之Hive的安装和连接
1.下载hive wget http://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz2.解压hive tar -zxvf apache-hive-1.2.1-bin.tar.gz mv apache-hive-1.2.1-bin.tar.gz app/hi原创 2017-09-07 18:14:33 · 1231 阅读 · 0 评论 -
Hadoop入门之Join的两种实现Demo
需求: 订单表和商品表合到一起order.txt(订单id, 日期, 商品编号, 数量) 1001 20150710 P0001 2 1002 20150710 P0001 3 1002 20150710 P0002 3 1003 20150710 P0003 3produ原创 2017-08-30 17:11:56 · 738 阅读 · 0 评论 -
Hadoop入门之共同好友实现Demo
以下是qq的好友列表数据,冒号前是一个用,冒号后是该用户的所有好友(数据中的好友关系是单向的)A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,原创 2017-08-30 18:17:40 · 812 阅读 · 0 评论 -
Hadoop入门之自定义groupingcomparator和outputformat的使用
自定义outputformat输出demo类:/** * maptask或者reducetask在最终输出时,先调用OutputFormat的getRecordWriter方法拿到一个RecordWriter * 然后再调用RecordWriter的write(k,v)方法将数据写出 * * @author * */public class LogEnhanceOut原创 2017-08-30 18:34:29 · 663 阅读 · 0 评论 -
Hadoop入门之集群高可用HA的搭建及原理图
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA注意:apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译(建议第一次安装用32位的系统,我将原创 2017-08-31 18:53:31 · 3010 阅读 · 0 评论 -
Hadoop入门之Hive的DDL和DML
1.Hive的表创建(分区,分桶)创建表SQLCREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name dat原创 2017-09-12 17:56:45 · 460 阅读 · 0 评论 -
Hadoop入门之Hive自定义函数和Transform
1.Java继承UDF类重写evaluate方法后打成Jar包上传,添加到Hive函数中2.使用Transform在SQL中调用自己写的脚本这里主要说下第二种:1. 需要用到的原始表如下,分隔符号为\thive> select * from my_one_table;OK1 songqinghu2 zhangwei原创 2017-09-20 18:50:38 · 1384 阅读 · 0 评论 -
Hadoop入门之Flume的几种配置和使用采集日志Demo
1.获取flume压缩包解压 wget http://archive.apache.org/dist/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz2.添加JAVA_HOME到flume配置文件flume_env.sh中 # Enviroment variables can be set here. export JAVA_HOME原创 2017-09-21 16:08:47 · 732 阅读 · 0 评论 -
Hadoop入门之自动化定时调度之Azkaban部署及使用
azkaban的部署使用及如何结合项目的使用思考1 部署azkaban1.1 准备工作,下载相关安装包,这里我使用的是2.5版本的官方:http://azkaban.github.io/downloads.html还需要一个jdbc的连接jar包:链接:http://pan.baidu.com/s/1dFe8avJ 密码:0pjh我原创 2016-05-31 19:32:22 · 8480 阅读 · 0 评论 -
Hadoop入门之azkaban的安装和使用
1.azkaban的安装http://blog.csdn.net/sqh201030412/article/details/515483552.azkaban的几种使用2.1 使用小Demo #commandtype=commandcommand=sh /home/hadoop/shell/say_hello.shshel原创 2017-09-22 16:11:34 · 1618 阅读 · 0 评论 -
Hadoop入门之Hbase得安装和简单Shell使用
一,HBase安装(HBase依赖Hadoop集群 )1.安装Zookeeper集群参考此篇中ZK集群搭建过程:http://blog.csdn.net/sqh201030412/article/details/513964272.HBase集群搭建下载安装包:wget http://archive.apache.org/dist/h原创 2017-11-01 15:46:27 · 421 阅读 · 0 评论 -
Hbase原理、基本概念、基本架构
概述HBase是一个构建在HDFS上的分布式列存储系统;HBase是基于Google BigTable模型开发的,典型的key/value系统;HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;从逻辑上讲,HBase将数据按照表、行和列进行存储。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储转载 2017-11-02 10:27:06 · 346 阅读 · 0 评论 -
Storm安装和使用Demo
一,Storm集群的安装1.下载安装包:wget http://archive.apache.org/dist/storm/apache-storm-0.9.7/apache-storm-0.9.7.tar.gz2.解压移动到软件安装目录tar -zxvf xxxx3.修改配置文件,conf目录下:vim storm.yaml原创 2017-11-02 17:00:18 · 681 阅读 · 0 评论 -
Storm概念、原理详解及其应用(一)BaseStorm
本文借鉴官文,添加了一些解释和看法,其中有些理解,写的比较粗糙,有问题的地方希望大家指出。写这篇文章,是想把一些官文和资料中基础、重点拿出来,能总结出便于大家理解的话语。与大多数“wordcount”代码不同的是,并不会有如何运行第一storm代码等内容,只有在运行完代码后,发现需要明白:“知其然,并知其所以然”。Storm是什么?为什么要用Storm?为什么不用Spark?转载 2017-11-02 20:58:08 · 365 阅读 · 0 评论 -
Hadoop入门之NameNode中元数据的容灾
这里用到了很多系统里都用的东西就是日志:1.每次操作NameNode都会记录相应的操作日志,即为edits_xxxxx,过段时间后日志会进行滚动.2.secondary NameNode 从Namenode中拉取要更新的edits_xxxxx到本地(此时会滚动一次日志)3.将相应的日志和fsimage加载到内存中进行合并操作4.将合并后内存中的数据dump成fsimage.原创 2017-08-23 18:36:17 · 825 阅读 · 0 评论 -
Hadoop入门之HDFS上传和下载文件图解
文件上传:1.客户端向NameNode(NN)发送请求上传文件路径2.NN响应Client确认是否能够上传文件3.Client再次请求NN,上传一个Black块4.NN响应Client给予几个要上传的DataNode的地址(有一定的容灾规则)5.Client向第一个DataNode请求建立连接进行文件上传,第一个DataNode会向第二个DataNode请求建立原创 2017-08-23 18:13:15 · 3693 阅读 · 0 评论 -
Hadoop入门之推荐系统架构简单解析
大致架构如下图:主要流程分为离线和实时两个部分:离线部分:收集日志,然后将日志处理为规定格式(日志清洗)上传到HDFS,然后跑相应的MR.将处理后的数据通过各种算法或者查询计算后的结果存储到方便快速读取的数据库中(Mysql,redis....),留给后期Web服务查询使用.实时部分:日志收集处理为实时进行的,使用strom或者spark直接处理执行相应的算法逻辑,得出原创 2017-08-23 17:39:29 · 1156 阅读 · 0 评论 -
hadoop的Linux环境准备
l 安装VMWare软件自行百度l 在VMWare软件下linux系统自行百度 l 配置VMWare虚拟软件网卡,保证Windows机器能和虚拟机linux正常通信 使用NAT 模式(可以上网)l 修改主机名vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop01 ###l 设置原创 2015-12-16 23:46:25 · 517 阅读 · 0 评论 -
liunx安装JDK
1. 将jdk上传到liunx上2. 对压缩包进行解压--我一般解压到/usr/local下新建一个java目录 Mkdir /usr/local/javatar -zxvf jdk-7u79-linux-i586.tar.gz -C /usr/local/java/ 3. 编辑path的配置文件vim /etc/profile 在文件的末尾加上如下内容原创 2015-12-18 23:14:57 · 481 阅读 · 0 评论 -
HADOOP的RPC机制
Ø 什么是Hadoop的RPC?Remote Procedure Call(简称:RPC):远程过程调用协议。RPC是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 Ø原创 2016-01-25 00:05:53 · 662 阅读 · 0 评论 -
远程Debug
远程debugØ JPDA 简介Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构,使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口(分别是 JVM Tool Interface 和 JDI)、一个协议(Java Debug Wire Protocol)和两个用于合并它们的软件组原创 2016-01-25 00:07:59 · 587 阅读 · 0 评论 -
MapReduce运行的例子
大家对mapreduce的原理相信也都能从百度中看到 下面做了一个小例子 统计字符的出现次数写MapReduce例子例子说明:统计hdfs文件系统中的words.txt单词个数。 Ø 导入相关的jar包导入${HADOOP-HOME}/share/hadoop/mapreduce红色选中部分的包。 和导入${HADOOP-HOME}/share/hadoo原创 2016-01-25 00:13:11 · 1064 阅读 · 0 评论 -
hadoop单机版搭建过程
l 上传hadoop2.4.1编译后的包并解压到/hadoop目录下mkdir /hadoop解压tar -zxvf hadoop.2.7.0.tar.gz -C /hadoop l 配置hadoop注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop伪分布式需要修改5个配置文件第一个:hadoop-env.shvim h原创 2016-01-11 23:27:41 · 501 阅读 · 0 评论 -
Hadoop环境测试
Ø 测试HDFS HDFS shell操作#查看帮助hadoop fs -help #上传hadoop fs -put 上文件> 上的路径>#查看文件内容hadoop fs -cat 上的路径>#查看文件列表hadoop fs -ls /#下载文件hadoop fs -get 上的路径> 上文件> 上传文件到hdfs文件系统上hadoop原创 2016-01-12 22:46:31 · 681 阅读 · 0 评论 -
WMWare中的liunx系统的clone
1.编辑 hosts Vim /etc/hosts 多设置集合ip映射关系(vi编辑器中的整行(多行)复制与粘贴就非常必要了。 1、复制 1)单行复制 在命令模式下,将光标移动到将要复制的行处,按“yy”进行复制; 2)多行复制 在命令模式下,将光标移动到将要复制的首行处,按“nyy”复制n行;其中n为1、2、3…… 2、粘贴原创 2016-01-12 23:54:22 · 447 阅读 · 0 评论 -
SSH免密码登录的配置
l 生成ssh免登陆密钥 #进入到我的home目录cd ~/.ssh ssh-keygen -t rsa (四个回车)执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥) l 将公钥拷贝到要免登陆的机器上ssh-copy-id 登录机器的地址或名称(配置了映射) 进行ssh登录时的个人理解当配置完时,在进行登录操原创 2016-01-13 22:38:43 · 1524 阅读 · 0 评论 -
HDFS介绍及结构和shell操作
1.分布式文件系统与HDFSØ 什么是分布式文件系统?当数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 (Distributed File System)。 l 分布式文件系统的定义:是一种允许文件通过网络在多台主机上分享的文件的系统,可让多机器原创 2016-01-15 00:14:59 · 506 阅读 · 0 评论 -
Hadoop入门之Mapreduce部分流程解析
1.建立连接后,任务文件的分片(1)客户端和resourcemanager建立连接后需要提交一些文件来构建Job任务,分片的文件是其中之一,还有Job.xml 和Jar(2)分片主要的作用是为后面的Maptask过程确定启动多少个maptask及其所要处理的文件的划分(默认以文件或者blackSzie划分)(3)具体分片数量的确定在 org.apache.hadoop.ma原创 2017-08-24 19:01:52 · 413 阅读 · 0 评论 -
Hadoop入门之Mapreduce过程的几个Demo
1.简单的统计单词数量的demo熟悉下MR的过程package com.demo.wordcount;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWr原创 2017-08-24 21:02:33 · 1083 阅读 · 0 评论 -
Hadoop入门之Mapreduce流程Shuffle过程
昨天大概讲述了下MR的大概流程(分片,Mapper,Reducer),其中mapper和reducer中间的衔接过程shuffle没有谈到,这次主要总结下这个过程.1.maptask通过inputformat(可以自定义实现类)读取要处理的文件交给你写的mapper过程处理后到outputcollector进行一些列的操作后写入到HDFS中(操作如下)2.将要写出的数据原创 2017-08-25 19:14:35 · 573 阅读 · 0 评论 -
Hadoop入门之几个Demo的加强版本
昨天写了三个MR的代码Demo,今天再对其加强一下:1.在使用序列化统计流程的基础上,再次进行MR操作package com.demo.flowsumsort;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hado原创 2017-08-25 19:19:46 · 541 阅读 · 0 评论 -
Hadoop入门之集群搭建
Hadoop集群的搭建主要分为两个部分,一个是HDFS集群(主要负责文件的存储),这里需要用到NameNode和DataNode两个部分,还有一个是Yarn(主要负责任务调度,即后面需要跑的Mapreduce),这里也是两个ResourceManager和NodeManager.下面是搭建的大致流程: (如果Shell脚本写的好,可以写个Shell脚本一次性部署一下)原创 2017-08-23 15:45:52 · 396 阅读 · 0 评论 -
Hadoop之门之HDFS的简单命令
HDFS简单命令列表:-help 功能:输出这个命令参数手册-ls 功能:显示目录信息示例: hadoop fs -ls hdfs://hadoop-server01:9000/备注:这些参数中,所有的hdfs路径都可以简写-->hadoop fs -ls / 等同于上一原创 2017-08-23 16:08:49 · 622 阅读 · 0 评论 -
Storm概念、原理详解及其应用(二)Storm Cluster
前述:本章内容借鉴官文和一些资料,有问题的地方希望大家指出。同样,内容中不会给出部署Storm集群的方法和步骤,因为部署只是我们使用它的基础,个人认为集群部署维护属于运维层面;也不会详解Command line client;更不会贴出yaml配置文件。所以不包含上述内容,希望不会浪费到大家时间。那文章内容会有什么呢?在完成上述工作以后,却不理解Storm是如何通过storm.转载 2017-11-02 21:00:30 · 414 阅读 · 0 评论