HIve
文章平均质量分 82
大鱼-瓶邪
工作已签,base杭州,专注毕业,后期更新可能会稍微少一点,还是会和大家一起探讨。
华中科技大学在读研究生。主要做核聚变模拟计算,管理着82个节点的集群,做大数据和机器学习,利用10多个老节点搭建各种环境钻研大数据知识,主要是Hadoop生态圈(HDFS+Spark+Sqoop+HIve+Hbase+Pig+Zookeeper)。<br>也用python做科研数据分析,机器学习。<br>熟悉scala开发<br>本科期间跟随导师做了两年的java web开发,熟悉ssh框架,mysql,oracle数据库
展开
-
Hive知识点(持续更新中)
集群安装详细步骤见我的博客:https://blog.csdn.net/qq_25948717/article/details/81054411。Hive是基于Hadoop的一个数据仓库处理工具,是一种数据库技术,用于查询和管理存储在分布式环境下的大数据集,可以定义数据库和表来分析结构化数据,适合处理相对静态的海量的数据集。可以将结构化的数据映射为一张数据库表,提供简单的SQL的查询功能,将S...原创 2018-07-16 13:06:08 · 1144 阅读 · 0 评论 -
Hive数据仓库实战(详细)
将本地文件数据加载到Hive数据仓库:首先在/public/users/yexin/Hadoop/hadoopdata下建立文本文件:Hive中建立表后只有两种方式可以加载数据:(1)从本地文件系统加载数据(2)从Hadoop文件系统加载数据在node63节点启动hive服务:分别输入:hive --service metastore &;hive --service hi...原创 2018-07-16 16:07:22 · 22615 阅读 · 9 评论 -
搭建Hive集群
将下载后的hive包解压到相应目录改名:下载地址:https://mirrors.cnnic.cn/apache/hive配置文件改名:[yexin@node78 conf]$ mv beeline-log4j2.properties.template beeline-log4j2.properties[yexin@node78 conf]$ mv hive-env.sh.tem...原创 2018-07-15 17:14:47 · 3414 阅读 · 0 评论 -
hive实战分析网页搜索数据
hive安装教程见:https://blog.csdn.net/qq_25948717/article/details/81054411该文章只讲分析数据:first of all,到搜狗实验室下载用户查询日志:http://www.sogou.com/labs/resource/q.php数据格式:第一列:搜索时间,第二列:用户ID,第三列:用户在输入框的搜索内容, ...原创 2018-10-16 14:17:57 · 1036 阅读 · 0 评论 -
Spark SQL实战查询网页数据分析
Spark以及Hive安装见我的博客:https://blog.csdn.net/qq_25948717/article/details/80758713 https://blog.csdn.net/qq_25948717/article/details/81054411使用Spark ...原创 2018-10-16 16:57:38 · 2069 阅读 · 0 评论 -
Spark SQL操作Hive实战
在目前企业级 Spark大数据开发中,大多数情况下都是采用Hive来作为数据仓库的。Spark提供了对Hive的支持, Spark通过HiveContext可以直接操作Hive中的数据。基于HiveContext,、我们可以使用sql/hql两种方式来编写SQL语句对Hive进行操作,包括:创建表、删除表、往表中导入数据、以及对表中的数据进行CRUD(増、删、改、査)操作。下面就开始动...原创 2018-10-24 22:30:10 · 2683 阅读 · 1 评论