![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 93
## name
这个作者很懒,什么都没留下…
展开
-
hadoop
hadoop 目录hadoop简介及搭建HDFSHDFS常用命令HDFS结构及特点Blocknamenodedatanodefsimage和editsdfs目录HDFS文件传输过程java连接HDFS搭建分布式计算mapreduce示例代码编写map组件编写reduce组件编写driver打包运行案例结果MapReduce计算流程计算组件map组件数据传输分区reduce迭代器Combiner组件常见输入格式自定义输入k-vRecordReaderFileInputFormat自定义输出k-vRecordW原创 2021-01-02 15:34:08 · 226 阅读 · 0 评论 -
hive
hive 目录hive简介基本语句表概念内部表外部表分区表分桶表事务表数据类型arraymapstruct常用操作函数UDF调优sqoop处理json 简介 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据映射为一张表,它提供了一系列的工具,可以用来进行数据提取、转化和加载。hive定义了简单的类SQL查询语言,称为HiveSQL。hive在执行过程中会将HQL转换为MapReduce执行,所以它本质上还是一种离线的大数据分析工具,由于hadoop通常会在作业提交和调度时有很大的开销,有较高原创 2021-01-02 16:22:37 · 206 阅读 · 0 评论