Hadoop 系列
程序员小陶
公众号:大数据学习指南
展开
-
Hive UDF 中使用hdfs中的文件
set mapred.cache.files=/data/ip/GeoLite2-City.mmdb#GeoLite2-City.mmdb;create temporary function ip_analyse as 'common.udf.IP2Location' using 'hdfs:///jars/hive-custom-udf-2.1-jar-with-dependencies.ja...原创 2019-07-09 13:41:41 · 2900 阅读 · 0 评论 -
小程序问题记录:小程序云开发获取不到数据库的记录
问题描述尝试小程序使用云数据库获取记录,进行调试的时候,控制台结果一直返回这个,如图:代码如下:wx.cloud.init();const db = wx.cloud.database()Page({ data: { }, //加载数据 onLoad:function(){ // collection 方法获取一个集合的引用 db.collect...原创 2018-09-26 16:30:24 · 14613 阅读 · 28 评论 -
Hadoop 生态系列之 Mapreduce
阅读文本大概需要 5 分钟。文章稍长,建议收藏慢慢看。目前 Hadoop 系列文章的规划就是这样,持续补充完善中…同时可以访问https://data.cuteximi.comHadoop 生态系列之1.0和2.0架构Hadoop 生态系列之 HDFSHadoop 生态系列之 MapreduceHadoop 生态系列之 YarnHadoop 生态系列之 ZookeeperHado...原创 2019-04-21 10:32:45 · 251 阅读 · 0 评论 -
Hadoop 系列之 1.0 和2.0 架构
Hadoop 系列之 1.0 和2.0 架构自学大数据有一段时间了,找工作历时一周,找到一家大厂,下周入职,薪资待遇还不错,公司的业务背景自己也很喜欢。趁着还没有入职,给大家争取先把 Hadoop 系列的文章总结完毕,可以当做科普文,也可以当做笔记收藏。经过查阅各种资料,保证我的理解没有偏差。但是也难免会有疏漏,欢迎朋友们留言给我进行交流。我的座右铭就是:认真搞定一切!绝对保证一字一字好好斟酌,...原创 2019-03-16 10:39:45 · 565 阅读 · 0 评论 -
Hadoop 系列之 HDFS
Hadoop 系列之 HDFS花絮上一篇文章 Hadoop 系列之 1.0和2.0架构 中,提到了 Google 的三驾马车,关于分布式存储,计算以及列式存储的论文,分别对应开源的 HDFS,Mapreduce以及 HBase。这里的 HDFS 是分布式文件系统,主要用于数据的存储。它的应用非常广泛,作为一款开源的文件系统,其高容错性、可靠性以及可部署在廉价机器上的特点...原创 2019-03-16 10:40:58 · 227 阅读 · 0 评论 -
Hadoop 系列之 Hive
Hadoop 系列之 HiveHive 的官网:http://hive.apache.org/Hive versions 1.2 onward require Java 1.7 or newer.上一篇提到的 MapRedue 虽然简化了分布式应用的实现方式,但还是离不开写代码。Hive 简介Hive 是基于 Hadoop 的一个【数据仓库工具】,可以将结构化的数据...原创 2019-04-21 00:35:27 · 464 阅读 · 0 评论 -
Hive 处理 json 的几个函数
本文参考:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDFget_json_objecthive中解析一般的json是很容易的,使用 get_json_object 就可以了。get_json_object 函数第一个参数填写json对象变量,第二个参数使用$表示json变量标识,然后用 . 或 [] 读...原创 2019-04-21 00:37:16 · 4931 阅读 · 0 评论 -
Hive分析函数--row_number 的用法
例子select ip,uuid,row_number() over(partition by uuid order by p_dt desc) as rank from ip_uuid_table;这个例子中有哪些值得关注的地方呢?partition by 用于给结果集分组。over() 函数用于返回一个分组中的多个值。这里与聚合函数(count,sum,min等等不同),...原创 2019-04-21 00:41:18 · 865 阅读 · 0 评论