hadoop
New灬soul
编程,编程,编程。。。。。。。
展开
-
hive中常用的函数
一.日期函数1.unix_timestamp(获取时间戳:秒)获取当前时间戳hive> select unix_timestamp();OK1605712071获取指定日期时间戳hive> select unix_timestamp('2020-01-01 00:00:00');OK1577836800获取指定格式的时间戳hive> select unix_timestamp('20200101 00:00:00','yyyyMMdd HH:mm原创 2020-11-19 00:02:26 · 963 阅读 · 0 评论 -
排坑-FAILED: UDFArgumentException The function DECIMAL takes only primitive types
是这样的,我在dataGrap(连接了hive)写了脚本,脚本是这样的insert overwrite table dwd_fact_order_detail partition (dt='$do_date')select t1.id, t1.order_id, t1.user_id, t1.sku_id, t1.sku_name, t1.order_price, t1.sku_num, t原创 2020-11-12 16:50:36 · 2679 阅读 · 0 评论 -
排坑--阿里云SparkSQL在本地IDEA中连接Hive时,连接不上NameNode时。
在idea中运行SparkSQL,要连接阿里云部署的Hive。开一个9866端口。除了把hdfs-site.xml,core-site.xmk,hive-site.xml放进去之后,还有修改hdfs-site.xml中的文件 <property> <name>dfs.client.use.datanode.hostname</name> <value>true</value> </property原创 2020-11-04 10:42:21 · 367 阅读 · 0 评论 -
Java实现MapRecuce的WordCount案例
MapRecuce是hadoop中计算的阶段,MapRecuce又分为map阶段和reduce阶段,map进行切割,reduce进行计算。下面为Java实现MapReduce的wordcount的案例pom.xml文件<dependency> <groupId>org.apache.hadoop</groupId> <artifactI...原创 2019-04-29 08:37:59 · 294 阅读 · 0 评论