HADOOP
AsItachi
毕业于小专科和社会大学,走投无路来到IT混饭吃,靠坑蒙拐骗行走江湖,经常被公司赶走
展开
-
JAVA写1个Flink的WordSum区别WordCounter
写1个Flink的WordSum区别WordCounter总是写Flink的wordcounter,总觉得少了点什么,现在我用flink写个wordSum,对同样字段的计数进行sum求和的计算。不啰嗦,上代码:如何插入一段漂亮的代码片去博客设置页面,选择一款你喜欢的代码片高亮样式,下面展示同样高亮的 代码片.import org.apache.flink.api.common.functions.RichMapFunction;import org.apache.flink.api.java.t原创 2020-12-11 11:07:05 · 213 阅读 · 0 评论 -
关于HIVE百分数和小数,周日期的一些问题
– 取出每周日期范围concat(MIN(ord_dt), “~”, MAX(ord_dt)) AS dt,±-------------±---------------±---------------±-----------------±-+| employee.id | employee.name | employee.days | employee.salary |...原创 2020-03-27 20:01:31 · 5722 阅读 · 1 评论 -
关于hive时间戳转换的一些细节和外部表
1.from_unixtime(timestamp,‘yyyy-MM-dd’)将时间戳转换成日期,示例:SELECT FROM_UNIXTIME(1868000000,‘yyyy-MM-dd HH-mm-ss’);将1868000000转换成日期格式;2.unix_timestamp(‘2013-02-06’)将’2013-02-06’转换成时间戳;今天在写SQL时,在atable中发...原创 2020-03-27 19:30:29 · 243 阅读 · 0 评论 -
KETTLE不能连接hadoop
KETTLE不能连接hadoop今天做KETTLE测试发现kettle不能连接hadoop看了一下教程:https://www.jianshu.com/p/258fef7c7dbe发现要更新4个xml文件:文件目录:$hadoop_home:etc/hadoop1.hdfs-site.xml2.core-site.xml3.yarn-site.xml4.mapred-site....原创 2020-01-14 16:36:21 · 1072 阅读 · 0 评论 -
Hbase大坑不偿命啊!!!
今天启动Hbase然后报错!如下:[root@bigdata01 hbase-1.2.0-cdh5.14.0]# bin/start-hbase.shError: Could not find or load main class org.apache.hadoop.hbase.util.HBaseConfToolError: Could not find or load main cla...原创 2019-11-26 10:14:39 · 640 阅读 · 0 评论 -
hadoop的一些重点
hadoop的一些重点hadoop分三个阶段:1.hdfs:负责海量数据的分布式存储,有三个对象:namenode,secondarynode,datanode什么是NameNode和DataNode?他们是如何协同工作的:一个HDFS集群包含一个NameNode和若干的DataNode(start-dfs命令就启动了NameNode和DataNode)NameNode:管理者,主要负...原创 2019-10-29 17:10:53 · 132 阅读 · 0 评论