hadoop
文章平均质量分 68
雨田示韦非文
这个作者很懒,什么都没留下…
展开
-
hiveql列转行使用explode的注意事项-null值处理
一、订单表如下: order_id product_name 1 铅笔,苹果,抽纸 2 3 苹果,草莓,猕猴桃 二、统计每种商品被购买次数,需要将product_name列转行,其中order_id等于2的是异常数据product_name为null。 如果写成下面这样,一条结果都没有: -- explode里面的字段不能为null,否则一条数据结果记录都没有了 select product_name_element -- 产品名称 ...原创 2020-05-22 14:11:10 · 1210 阅读 · 2 评论 -
Hadoop MapReduce编程创建maven项目时所用到的pom依赖
junit junit 3.8.1 test org.apache.hadoop hadoop-common 2.6.0 org.apac转载 2017-07-25 17:17:56 · 3236 阅读 · 0 评论 -
hadoop命令
压缩中间结果命令: hive -e "SET mapreduce.map.output.compress=true; SET mapred.map.output.compress.codec = org.apache.hadoop.io.compress.SnappyCodec; " hadoop fs -help 1. hadoop fs -ls '/home/ask/answer原创 2017-07-25 17:48:01 · 241 阅读 · 0 评论 -
hadoop启动步骤
一、ssh的启动 ssh localhost 二、hadoop的HDFS的格式化 bin/hadoop namenode -format 三、hadoop的start-all.sh的启动 bin/tart-all.sh 四、hadoop的datanode的启动 bin/hadoop-daemon.sh start datanode 五、hadoop的tasktracker的启动转载 2017-07-26 14:41:22 · 607 阅读 · 0 评论