m0_49528461的博客

今天，我继续学习了Hue。学习了编译Spark前环境准备、Spark编译源码成功、CDH Spark安装部署-概述、CDH Spark安装部署-实操、Hue与Spark整合、Apache版本Hue安装部署、Apache版本Spark安装部署。总结一下：1.Hue与Spark集成1、安装jdk1）解压2）配置环境变量2、安装Scala1）解压2）配置环境变量3、安装Maven1）解压2）配置环境变量3）修改settings.xml配置文件4、Spark编译源码1）下载Spark2

今天，我开始了Hue的学习。学习了Hue资料介绍、Hue简介、Hue安装部署、Hue与HDFS的集成、Hue与Yarn的集成、Hue与Hive的集成、Hue与Hive的集成-补充、Hue与Mysql的集成、Hue与Oozie的集成、Hue与Zookeeper的集成、Hue与Hbase的集成、Hue与Sqoop2的集成。总结一下：1.Hue来源HUE=HadoopUser Experience，看这名字就知道怎么回事了吧，没错，直白来说就是Hadoop用户体验，是一个开源的Apache Hadoop U

今天，我开始了Oozie的学习。学习了Oozie的介绍、Oozie功能模块介绍、搭建CDH版本的Hadoop、CDH版本的Oozie安装部署、实操案例、总结、Apache Oozie版本编译源码。总结一下：1.Oozie简介Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序

今天，我继续学习了Storm。先是复习了之前学过的内容，然后学习了Pv-案例、Uv-案例、整合kafka案例。总结一下：1.实时计算网站PV案例1）需求统计网站pv。PV（page views）：count（session_id）即页面浏览量。2）需求分析方案一定义static long pv，Synchronized控制累计操作。（不可行）原因：Synchronized和Lock在单JVM下有效，但在多JVM下无效。方案二shuffleGrouping下，pv * Executer并

今天，我开始了Storm的学习。学习了Storm是什么、Storm与Hadoop的区别、应用场景和案例、特点、编程模型、核心组件、架构图、环境准备、分布式环境搭建、查看log日志、命令行操作、常用API介绍、数据准备、网站日志案例、读数据思考、分组策略-理论篇、分组策略-实践篇、并发度、WordCount案例、感受分组策略。总结一下：1.Storm是什么？Storm是一个分布式计算框架，主要使用Clojure与Java语言编写，最初是由Nathan Marz带领Backtype公司团队创建，在Back

今天，我开始了ElasticSearch的学习。学习了ElasticSearch什么是搜索、ES特点、ES的核心概念、单节点安装、完全分布式安装、安装总结、ES-head插件安装、获取客户端-API、创建一个索引-API、删除一个索引-API、创建文档-Json-API、创建文档-Map-API、创建文档-ESBuild-API、查询单个索引-API、查询多个索引-API、Update-API、Upsert-API、Delete-API、QueryAll-API、分词查询-API、通配符查询-API、词条查

今天，我开始了Flume的学习。学习了Flume的简介、Flume的特点、组件核心概念、拦截器-数据流-可靠性、使用场景、数据传输过程、Flume-1.7-安装、telnet-安装、Flume-telnet-案例、Flume-文件-案例、Flume-文件夹-案例、双层Flume一对二案例、双层Flume-二对一案例、了解更多组件。总结一下：1.Flume简介Flume作为Cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume初始的发行版本目前被统称为Flume OG（origi

今天，我开始了Kafka的学习。学习了Kafka是什么、消息队列内部实现原理、为什么需要消息队列、架构、集群部署、命令行操作、topic详情、Broker-配置参数、Producer-配置参数、Consumer-配置参数、Kafka生产过程分析、Broker保存消息、消费过程分析、消费者组案例、生产者-newAPI、生产者带回调函数-API、Producer自定义分区、Consumer消费者API、拦截器原理、Producer-拦截器-Interceptor、Kafka Stream-原理、Kafka St

今天，我开始了Kafka的学习。学习了Kafka是什么、消息队列内部实现原理、为什么需要消息队列、架构、集群部署、命令行操作、topic详情、Broker-配置参数、Producer-配置参数、Consumer-配置参数、Kafka生产过程分析、Broker保存消息、消费过程分析、消费者组案例、生产者-newAPI、生产者带回调函数-API、Producer自定义分区、Consumer消费者API、拦截器原理、Producer-拦截器-Interceptor、Kafka Stream-原理、Kafka St

今天，我继续学习了Sqoop。首先，先是复习了之前学过的内容，然后，学习了MySql-to-Hive、MySql-to-Hive-总结、MySql-to-HBase、MySql-to-HBase-总结、MySql-to-Hive-原理、HDFS-Hive-to-MySql、Hive和HBase整合集成、重新编译hive-hbase-handler-1.2.1.jar、hive-hbase-案例、HBase-To-MySql、脚本、常用命令、公有参数、命令参数-import、命令参数-export-codeg

今天，我开始了JeeSite和Sqoop的学习。JeeSite：进行了初步了解、学习了环境部署、快速开发体验、Error解决。Sqoop：学习了简介、原理、架构、应用场景、环境安装、导入导出工具、MySqlToHDFS。总结一下：1.Sqoop简介（sql to hadoop）官网http://sqoop.apache.org/Apache Sqoop（TM）是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。Sqoop于2012年3月孵化出来

今天，我继续学习了Hbase。首先，先是复习了之前学过的内容，然后学习了动态服役hbase节点、动态退役hbase节点、版本的确界、HA高可用、优化-hadoop、优化-Linux、优化-zookeeper、优化-表预分区、优化-rowkey设计、优化-内存优化、压缩案例-失败、配置hadoop+hbase支持snappy压缩、快速搭建hbase并测试、查看历史命令、脚本。总结一下：1.HBase节点的服役和退役1、服役（commissioning）当启动regionserver时，regionse

今天，开始了Hbase的学习。学习了Hbase的介绍、环境搭建、Shell操作、读写流程、API-判断一下表是否存在、API-创建一张表、API-删除一张表、API-添加数据、API-删除数据、API-获取整张表的所有数据、API-获取rowkey的所有数据、API-获得某一个列的数据、官方Hbase-MapReduce案例、MR数据迁移、HDFS-MR-HBase、常用Shell、备份-恢复。总结一下：1.HBase的角色1）HMaster功能（1）监控RegionServer（2）处理Reg

今天，继续学习了Hive。首先，先是复习了之前学过的内容，然后学习了表-即分区又分桶、动态分区、系统函数+自定义UDF函数、压缩、文件存储格式-概念、文件存储格式-实操、存储和压缩的结合、调优、常见问题总结、网站日志分析。总结一下：1.分区表分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。2.把

今天，继续学习了Hive。首先，先是复习了之前学过的内容，然后学习了DML数据导入导出、Centos7.5安装Mysql5.6.49-yum方式、强制删除hive的数据库、yum.conf、基本查询、where查询、分组查询、Join查询、排序查询实操、排序查询原理、排序原理-再解说、分桶实操、分桶xy参数讲解。总结一下：1.Hive常见属性配置1、Hive数据仓库位置配置（1）Default数据仓库的最原始位置是在hdfs上的/user/hive/warehouse路径下。（2）在仓库目录下，没

今天，我开始了Hive的学习。学习了基本概念、安装地址说明、安装部署、基本Shell操作、Hive初次启动ERROR解决、将本地文件导入Hive案例、多客户端异常分析、centos7安装mysql5.7.21、Hive元数据配置到Mysql里面、常用的交互命令、其它命令操作、常见属性配置、数据类型、DDL、创建内部表、外部表+内部表、删除数据库-补录、分区表、修改表。总结一下：1.Hive基本概念什么是Hive：Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Had

今天，我开始了Zookeeper的学习。学习了概述+特点、数据结构+应用场景、单机模式、伪分布模式、完全分布式、客户端命令行操作、java-api-初体验、Java API、监听服务器节点变化、动态服役节点-3-5、动态退役节点-5-3、客户端连接服务端的三种方式。...

今天，继续学习了Hadoop。学习了回收站、HA-概述、HA-环境准备、HA-手动故障转移-HDFS、HA-自动故障转移-HDFS、HA-自动故障转移-Yarn、回收站总结、HDFS-API-Maven版、项目打包放到集群上运行、MapReduce-wordcount、WordCount-优化、初步感受压缩和解压缩、Map-Reduce-压缩、倒排索引。总结一下：1.HA概述1）所谓HA（High Availability），即高可用。2）实现高可用最关键的策略，是消除单点故障。HA严格来说，应该分

今天，继续学习了Hadoop。首先，先是复习了昨天学习过的内容，然后学习了IO流HDFS文件上传、IO流HDFS文件下载、IO流定位读取HDFS第一个块、IO流定位读取HDFS第二个块、数据的一致性、HDFS写数据流程、HDFS读数据流程、Namenode VS SName、镜像文件+日志文件、namenode版本、namenode数据还原实操、安全模式、Namenode多目录配置、DataNode工作机制、动态服役新数据节点、动态退役旧数据节点、Datanode多目录配置、DistCp-scp、Hadoo

今天，继续学习了Hadoop。先是复习了之前学过的内容，然后学习了编译源码、HDFS概念、HDFS常用命令、HDFS客户端操作、HDFS获取文件系统、HDFS文件上传、HDFS文件下载、HDFS目录创建、HDFS文件夹删除、HDFS文件名更改、HDFS文件详情查看、HDFS文件和文件夹判断。总结一下：1.HDFS概念HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的设计适合一次写入，多次读出的场景