![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 81
Abin0406
这个作者很懒,什么都没留下…
展开
-
Hive编程指南中的命令
最近刚接触大数据这块,从来没写过博客。就用大数据做为新的开始吧。一下为最近刚读完《Hive编程指南》这本书,本人整理的一些书中常用命令及简介。勿喷,谢谢。1. 设置hive为本地模式,设置后hive主动使用该模式(小型数据、执行速度快): hive>set hive.exec.mode.local.auto=true2. 当需要频繁使用hadoop dfs命令时,可为其设置别名: $ ali...原创 2018-06-15 14:49:43 · 928 阅读 · 0 评论 -
Spark快速大数据分析--笔记(1)
1. Spark中组件简介 Spark SQL 结构化数据:操作结构化数据的程序包,通过SQL或Hive SQL查询数据 Spark Streaming 实时计算:对实时数据进行流式计算,提供了操作数据流的API。与Spark Core中的RDD API高度对应 Spark MLlib 机器学习:提供多种机器学习算法,包括分类、回归、聚类、协同过滤等 Spark G...原创 2018-10-24 18:22:56 · 543 阅读 · 0 评论