hadoop
hello world2020
这个作者很懒,什么都没留下…
展开
-
hadoop离线任务出错:PipeMapRed.waitOutputThreads
今天使用hadoop跑一个离线任务失败,通过yarn管理器log查看,出现如下错误: 2019-12-11 06:40:33,242 FATAL [IPC Server handler 6 on 35937] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1576072784615_0011_m_000001_2 ...原创 2019-12-11 22:52:00 · 370 阅读 · 0 评论 -
大数据基础
大数据基础: 一个spilt(分片)对应一个map,这个图是有问题的。 将数据从HDFS(HDFS中存放的是broke)中读出来成一个个spilt,然后转化成一个个RR(Recode),输入到Map(map只认识record,所以要转换)。 Map溢写(spill)到本地文件之前,就会进行sort,因为内存中排序很快。溢写到本地文件同时会进行partion...原创 2019-12-02 21:35:59 · 96 阅读 · 0 评论 -
启动hive出现:cannot access /usr/local/spark/lib/spark-assembly-*.jar: No such file or directory
启动hive出现:cannot access /usr/local/spark/lib/spark-assembly-*.jar: No such file or directory 原因是这个jar包在新版本的spark中的位置已经改变!我们要做的只是将hive中的启动文件中的sparkAssemblyPath这一行更改为你安装的spark的jar包路径即可。具体如下: 到Hive的bin目...转载 2019-11-27 21:26:43 · 984 阅读 · 0 评论 -
hive报错
hive报错 Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeExc...原创 2019-11-27 21:24:56 · 767 阅读 · 0 评论 -
hadoop/hbase常见命令记录
一:hadoop 实际上有三种shell命令方式。 1. hadoop fs 2. hadoop dfs 3. hdfs dfs hadoop fs适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统 hadoop dfs只能适用于HDFS文件系统 hdfs dfs跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系统 上面的单机模式,grep 例子读取的是本地数据,伪分布...原创 2019-11-24 15:22:16 · 501 阅读 · 0 评论