xiaochen_bigdata的博客

目录一.基础概念1.概述2.组成架构3.特点4.hive和传统数据库区别比如mysql二.基础操作常用命令1.进入hive数据库2.查看某个数据库3.进入某个数据库4.查看所有表5.显示表结构6.查询表数据7.显示表名的分区8，创建数据库9.删除数据库10.创建数据表11.加载数据列表12.重命名表13.删除表14.插入表数据15.表结构修改16.分桶表17.创建一个视图数据仓库(Data Warehouse)工具基于Hadoop的将 结构化的数据文件 映射成一张表提供了类SQL的HQL的查询功能

1.下载node.js下载地址:Node.js2.安装点击next下一步直接安装就可以了。在配置安装目录的时候可以选择自己想要安装的目录。3.配置环境变量在你安装路径根目录下创建文件夹node_cachenode_global打开cmd配置路径npm config set prefix "F:
odejs
ode_global"npm config set cache "E:
odejs
ode_cache"在此电脑下找到属性-》高级系统设置-》环.

查看jar包是否出问题，target下是否有所需要打包的代码，如果没有，再pom文件中添加相关插件重新打包就可以了

nohup hive --service metastore 2>&1 &

1. Scala I/O操作简介I/O操作是一门编程语言中的重要内容，在Scala中，它更多的是调用java中的I/O类或者通过对java中的I/O类进行相应的封装来实现I/O操作。在上一节内容中我们已经用到了I/O操作：trait FileLogger extends Logger{ val fileName:String //PrintWriter使用的是java.io.PrintWriter类 val fileOutput=new PrintWriter(fileName:Str...

什么是MapReduce你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃。MapReduce方法则是：1.给在座的所有玩家中分配这摞牌2.让每个玩家数自己手中的牌有几张是黑桃，然后把这个数目汇报给你3.你把所有玩家告诉你的数字加起来，得到最后的结论MapReduce概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.MapReduce是分布式运行的，由两个阶段组成：Map和Reduce，Map阶段是一个独立

他是一个高可用的，高可靠的，分布式的海量日志采集，聚合和传输的系统。flume是流式架构，flume最主要的作用就是实时读取服务器本地磁盘的数据，将数据写入到HDFS中去。他的一个组成架构Web端=》source=》channel=》sink=》HDFStaildir source1、间断性的传输文件，可以监控一个目录下多个目录文件2、flume是在Apache1.7，CDH1.6产生的3、没有断点续传功能怎么实现，可以通过自定义的方式4、taildir挂了怎么办，重启但是会导致数据重复

MyISAM是MySQL关系数据库管理系统的默认储存引擎。它从旧的ISAM代码扩展出许多有用的功能。在新版本的MySQL中，InnoDB引擎由于其对事务，参照完整性，以及更高的并发性等优点开始广泛的取代MyISAM。InnoDB是MySQL的另一个存储引擎，正成为目前MySQL AB所发行新版的标准，被包含在所有二进制安装包里。较之于其它的存储引擎它的优点是它支持兼容ACID的事务（类似于PostgreSQL),以及参数完整性（即对外键的支持）。两者区别1. InnoDB支持事务，MyISAM不

flink和kafka梳理

HDFS基本操作命令

Hadoop的组成架构和安装

Datax的安装及使用

sqoop的安装和使用