hadoop
hadoop相关
zhangbw~
研究生在读,backend developer.
展开
-
2020年安徽省大数据与人工智能应用竞赛
2020年安徽省大数据与人工智能应用竞赛A卷2020年安徽省大数据与人工智能应用竞赛A卷学校名称: 队伍名称: 队伍编号: 第一部分:大数据平台搭建与运维(10分)场景说明目前,大数据技术及应用已经深入到各行各业,各高校也在积极建设信息化、智慧化校园,那么大数据中心建设必不可少,它可以服务于学校上游和下游,解决数据孤岛问题。假设现在某大学正在假设大数据中心,首先搭建大数据基础平台,用于数据存储和批量计算以及实时查询,现在请你完成Hadoo原创 2021-01-08 09:24:37 · 5003 阅读 · 5 评论 -
2020安徽省大数据与人工智能网络赛题目
今年参加了安徽省大数据与人工智能比赛,第一次参加、获得省级二等奖,(队友很给力,我拖后腿了), 自己实力还是有所欠缺、比赛过程中时间安排不是很合理,导致最后一题综合题(spark数据处理)没有时间做,现附上20年网络赛真题,供以后参加比赛的同学参考,2020年安徽省大数据与人工智能应用初赛题目第一部分:大数据平台部署(10分)第二部分:大数据预处理部分(20分)第三部分:大数据分析(20分)第四部分:可视化(15分)第五部分 人工智能(20分)第六部分:综合题(15分)数据获取第一部分:大数据平.原创 2020-12-25 16:00:08 · 3820 阅读 · 5 评论 -
将HiveSql查询到的结果导出到本地 /Hdfs
语法格式:INSERT OVERWRITE [LOCAL] DIRECTORY directory1 [ROW FORMAT row_format]select_statement1;注意 : 加local : 导入到本地 ,不加local --> 导入到 hdfs例:将查询到的结果保存到本地 , 字段之间以\t分隔INSERT OVERWRITE LOCAL DIRECTORY "/opt/data/"ROW FORMAT DELIMITED FIELDS TERMINATED B原创 2020-10-29 15:50:38 · 1112 阅读 · 0 评论 -
Hive和mysql(传统数据库)的比较
由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language),因此很容易将 Hive 理解为数据库。其实从结构上来看,Hive 和数据库除了拥有类似的查询语言,再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中,但是Hive 是为数据仓库而设计的,清楚这一点,有助于从应用角度理解 Hive 的特性。1 查询语言由于SQL被广泛的应用在数据仓库中,因此,专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发原创 2020-10-13 10:14:53 · 2323 阅读 · 0 评论 -
hadoop集群启动、停止命令【namenode、datanode、yarn、spark、hive】
Hdfs启动集群sbin/start-dfs.sh注:这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以及zkfc进程进行批量启动的。启动NameNodesbin/hadoop-daemon.sh start namenode启动DataNodesbin/hadoop-daemon.sh start datanode停止集群sbin/stop-dfs.sh停止单个进程sbin/hadoop-daemon.sh stop zkfcs原创 2020-10-04 08:37:32 · 13792 阅读 · 1 评论