qq_49096000的博客

Sqoop是一款开源的工具，主要用于在Hadoop Hive与传统的数据库mysql间进行数据的传递，可以将一个关系型数据库 MySQL中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。本次实验主要完成了Sqoop的安装及验证通过Sqoop将MySQL数据导入到Hive数据仓库中。

在Hadoop集群上部署Hive数据仓库，使用MySQL作为元数据存储。在Hive集群平台创建测试表，验证HiveQL在Hadoop Mapreduce中的执行情况。本次实验中，Hive采用MySQL数据库保存Hive的元数据，而不是采用Hive自带的derby来存储元数据。Hive常用的HiveQL操作命令主要包括：数据定义、数据操作。Hive实现最大的优势是，对于非程序员，不用学习编写Java MapReduce代码，也可以完成MapReduce任务。

Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。Kafka的使用依赖于zookeeper,安装Kafka前必须先安装zookeeper。Kafka集群包含一个或多个服务器，这种服务器被称为broker,Producer负责发布消息到Kafka broker,Consumer消息消费者，从Kafka broker读取消息的客户端。

本实验包括分布式海量日志采集、聚合和传输系统Flume的部署以及flume和Kafka整合实现信息收集传递的实例。Flume部署Flume消息收集Flume+Kafka整合apache-flume-1.8.0网易云平台flume安装部署（flume安装、flume验证）进入实验列表，找到Flume，点击开启实验，启动master、slave1及salve2，slave3。可以参考上篇文章完成Zookeeper集群部署#hosts文件末尾加入如下内容(masterip、slave1ip及slave2i

基于Hadoop生态系统的大数据平台之上部署Zookeeper集群,Zookeeper被应用与一些集群上，可以提高集群的可用性。它可以帮助你避免单点故障，使企业大数据平台更加可靠。本实验采用4台机器搭建Zookeeper集群，其中1台机器作为Leader节点，另外三台机器作为Follower节点。Zookeeper分布式协调技术，主要用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种临界资源，防止造成"脏数据"的后果。

基于开源软件搭建满足企业需求的Hadoop生态系统,构建基础的大数据分析平台。本实验采用4台机器搭建Hadoop完全分布式集群，其中1台机器作为Master节点，另外三台机器作为Slave节点，主机名分别为Slave1，Slave2和Slave3。本次实验采用完全分布式集群安装方式，需要提前部署JDK环境、SSH验证等过程。安装并启动后可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

其中，rsa表示加密算法，键入上面一条命令后连续敲击三次回车键，系统会自动在~/.ssh目录下生成公钥（id_rsa.pub）和私钥（id_rsa），可通过命令。查看，认证文件authorized_keys已经生成。可以通过cat命令查看authorized_keys内容是否包含有id_rsa.pub的内容。我们以本机登录本机自己为例（连接本机），将公钥追加到~/.ssh/authorized_keys文件中。修改host (四台虚拟机都要修改)安装完成后，关机，进行快照备份。做完后可以进行关机，快照。

1、点击创建虚拟机图标2、选择典型安装，并点击下一步3、选择稍后安装，点击下一步4、选择Linux，版本选择CentOS7 64位，并点击下一步5、输入虚拟机的名称（此处可自己取名）,点击浏览按钮6、点击浏览，选择虚拟机存放的位置（也可以自己创建一个文件夹），，选择好后，点击确定7、设置虚拟机磁盘大小，最小20G。8、点击自定义硬件9、推荐内存设置为4G，若本机内存只有4G，则设置为2G，然后对处理器进行设置10、处理器数量设置为2，然后对新CD/DVD（IDE）进行设置11、选择iso