hadoop
hello world2020
这个作者很懒,什么都没留下…
展开
-
hadoop离线任务出错:PipeMapRed.waitOutputThreads
今天使用hadoop跑一个离线任务失败,通过yarn管理器log查看,出现如下错误:2019-12-11 06:40:33,242 FATAL [IPC Server handler 6 on 35937] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1576072784615_0011_m_000001_2 ...原创 2019-12-11 22:52:00 · 386 阅读 · 0 评论 -
大数据基础
大数据基础:一个spilt(分片)对应一个map,这个图是有问题的。将数据从HDFS(HDFS中存放的是broke)中读出来成一个个spilt,然后转化成一个个RR(Recode),输入到Map(map只认识record,所以要转换)。Map溢写(spill)到本地文件之前,就会进行sort,因为内存中排序很快。溢写到本地文件同时会进行partion...原创 2019-12-02 21:35:59 · 102 阅读 · 0 评论 -
启动hive出现:cannot access /usr/local/spark/lib/spark-assembly-*.jar: No such file or directory
启动hive出现:cannot access /usr/local/spark/lib/spark-assembly-*.jar: No such file or directory原因是这个jar包在新版本的spark中的位置已经改变!我们要做的只是将hive中的启动文件中的sparkAssemblyPath这一行更改为你安装的spark的jar包路径即可。具体如下:到Hive的bin目...转载 2019-11-27 21:26:43 · 996 阅读 · 0 评论 -
hive报错
hive报错Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-1.2.1.jar!/hive-log4j.propertiesException in thread "main" java.lang.RuntimeException: java.lang.RuntimeExc...原创 2019-11-27 21:24:56 · 783 阅读 · 0 评论 -
hadoop/hbase常见命令记录
一:hadoop实际上有三种shell命令方式。1. hadoop fs2. hadoop dfs3. hdfs dfshadoop fs适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统hadoop dfs只能适用于HDFS文件系统hdfs dfs跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系统上面的单机模式,grep 例子读取的是本地数据,伪分布...原创 2019-11-24 15:22:16 · 511 阅读 · 0 评论