- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 在使用sqoop向mysql导出数据时，map运行100%，但是reduce一直不动
19/08/31 14:49:26 INFO mapreduce.Job: map 100% reduce 0%在使用sqoop向mysql导出数据时，map运行100%，但是reduce一直不动，此时成旭也不报错，在查看map的log时发现是由于mysql中设置字符长度不够导致的错误，但是错误只能在日志中看到。2019-08-31 14:49:19,803 ERROR [Thread...
2019-08-31 14:58:48
1566
1
原创 在运行mr时遇到的一个大坑
卡在如下状态不动：19/08/31 14:22:59 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy t...
2019-08-31 14:45:51
919
原创 hive中的参数配置方式
1．查看当前所有的配置信息hive>set;2．参数的配置三种方式 （1）配置文件方式默认配置文件：hive-default.xml用户自定义配置文件：hive-site.xml 注意：用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。...
2019-08-24 11:38:38
400
原创 hive中数据仓库位置的配置
1.数据库的默认配置路径为：/user/hive/warehouse2.修改数据仓库的原始位置只需在hive-site.xml文件中配置如下信息即可：<property><name>hive.metastore.warehouse.dir</name><value>目录</value><description&g...
2019-08-24 11:11:37
1171
原创 liunx中安装mySql +为hive配置mysql
1.首先准备安装包2.首先检查liux中是否安装mysqlrpm -qa | grep mysql3.如果存在，则按照显示的名称进行删除rpm -e --nodeps 名称4.安装myslq 服务器1.安装mysql 服务器rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm2.查看产生的随机密码cat /root/.m...
2019-08-24 10:28:34
167
翻译 NameNode故障处理
NameNode故障后，可以采用如下两种方法恢复数据。方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录；1. kill-9 NameNode进程2.删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）rm -rf /opt/module/hadoop-2.7.2/data...
2019-08-18 12:15:38
308
翻译 Fsimage和Edits解析
1.概念2.oiv查看Fsimage文件（1）查看oiv和oev命令oiv apply the offline fsimage viewer to an fsimageoev apply the offline edits viewer to an edits file（2）基本语法hdfs oiv -p 文件类型 -i...
2019-08-18 12:02:56
627
原创 Hadoop中log4j.properties配置
log4j.rootLogger=INFO, stdoutlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern=%d %p [...
2019-08-18 11:01:13
1807
原创 Hive的安装
下载地址：http://hive.apache.org/downloads.html1.将下载好的压缩包进行解压tar -zxvf 文件名2.修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.shmv hive-env.sh.templete hive-env.sh3.修改hive-env.sh这...
2019-08-04 18:21:13
157
翻译 什么是Hive?
Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上Hive的优缺点1.优点操作接口采...
2019-08-04 18:03:54
274
原创 Hadoop中的一致模型
文件系统的一致模型描述了文件数据读写的可见性。新建一个文件时，在文件系统中立即可见，例如：fs.creat(/test.txt),当程序运行到此，文件系统中就可以看到这个文件，但是在写入数据时，不会立即可见。前提：在程序运行未完成时，查看被创建的文件中的数据是否存在①向文件系统中写入数据，使用flush()方法时，查看文件中数据的可见性package hadoop002;im...
2019-08-04 00:40:45
218
原创 利用流读取Hadoop集群中文件的信息
pom中的配置如下：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org...
2019-08-03 13:48:37
369
原创 windows中配置Hadoop环境
1.首先解压在liunx中安装的hadoop的包2.解压完成之后，将以下两个文件放入解压后handoop中的bin路径下，可以从网上搜索下载这两个文件https://github.com/SweetInk/hadoop-common-2.7.3-bin3.配置环境变量4.然后win+R测试hadoop version命令是否配置成功此时可能会出现以下错误：...
2019-08-03 11:00:54
577
mysql安装包全.zip
2019-08-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人