- 博客(15)
- 资源 (17)
- 收藏
- 关注
原创 Hadoop配置文件说明
Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。(1)默认配置文件:表2-1 要获取的默认文件 文件存放在Hadoop的jar包中的位置 [core-default.xml] hadoop-common-2.7.2.jar/ core...
2019-07-31 22:22:34 1344
原创 Hadoop配置日志的聚集
日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryManager。开启日志聚集功能具体步骤如下:1.配置yarn-site.xmvi yarn-site.xml在该文件里面增加如下配置...
2019-07-31 22:20:12 683
原创 Hadoop配置历史服务器
为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:1. 配置mapred-site.xml[root@eshop-detail03 hadoop]# vi mapred-site.xml在该文件里面增加如下配置。<!-- 历史服务器端地址 --><property><name>mapreduce.jobhistory.ad...
2019-07-31 22:03:35 244
原创 Hadoop操作集群步骤
(a)在HDFS文件系统上创建一个input文件夹[root@eshop-detail03 hadoop-2.7.2]# bin/hdfs dfs -mkdir -p /user/root/input(b)将测试文件内容上传到文件系统上[root@eshop-detail03 hadoop-2.7.2]# bin/hdfs dfs -put wcinput/wc.input /user...
2019-07-30 22:19:43 216
转载 Hadoop上传文件错误,org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/input/wc.in
搭建好hadoop后使用hadoop fs -put 命令上传文件发现失败,报了以下错误:看它的报错信息好像是节点没有启动,但是我的节点都启动起来了,使用jps也能查看到节点信息。 使用hadoop dfsadmin -report命令查看磁盘使用情况,发现出现以下问题:节点下存储空间都是空的,问题应该就是出现在这了。 查阅资料发现造成这...
2019-07-30 22:09:31 6064 1
原创 Hadoop配置集群的详细步骤
(1)配置集群 (a)配置:hadoop-env.shLinux系统中获取JDK的安装路径:echo $JAVA_HOME修改hadoop-env.sh中jdk的路径: (b)配置:core-site.xml (c)配置:hdfs-site.xml(2)启动集群 (a)格式化NameNode(第一次启动时格式化,以后...
2019-07-30 21:44:46 258
原创 格式化NameNode,要注意什么?
格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。所以,格式NameNode时,一定要先删除data数据和log日志,然后再格式化NameNode。...
2019-07-30 21:29:42 2175
原创 Hadoop安装的详细步骤解析
1.Hadoop下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/2.用FTP将hadoop-2.7.2.tar.gz导入到/usr/local下面,截图如下:3.进入到Hadoop安装包路径下4.解压安装文件到/opt/module下面tar -zxvf hadoop-2.7.2.tar...
2019-07-28 20:35:50 370
原创 Hadoop目录结构分析
1.查看Hadoop目录结构2、重要目录(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)(4)sbin目录:存放启动或停止Hadoop相关服务的脚本(5)share目录:存放Hadoop的依赖jar...
2019-07-28 20:23:57 394
原创 什么是Hive
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。...
2019-07-28 15:20:09 93
原创 Kafka的特性
(1)通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。(2)高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。(3)支持通过Kafka服务器和消费机集群来分区消息。(4)支持Hadoop并行数据加载。...
2019-07-28 15:17:54 705
原创 什么是swagger以及swagger注解详解
1.什么是swaggerSwagger是一个规范和完整的框架,用于生成、描述、调用和可视化RESTful风格的Web服务。简单来说,Swagger是一个功能强大的接口管理工具,并且提供了多种编程语言的前后端分离解决方案。Swagger有大致有3个优点:1.Swagger可以整合到代码中,在开发时通过注解,编写注释,自动生成API文档。2.将前端后台分开,不会有过分的依赖。3.界面清晰,无...
2019-07-13 09:32:07 7097
原创 springboot整合swagger2详细步骤
1.先建一个maven工程,配置pom.xml文件,截图如下:<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 ht...
2019-07-13 09:09:25 12159 1
原创 springboot 与swagger整合出现Unable to infer base url.This is common when using dynamic的解决办法
今天在springboot与swagger整合测试的时候跳出如下所示界面经查资料发现有两种解决办法,1.直接把@EnableSwagger2注解加在主启动类就可以,这样虽然能解决问题,但是这样会扫到使用的框架的接口,这种方法要慎用。2.主启动类加上@ComponentScan("swagger配置类所在包"),以保证配置类被扫描到最后解决问题之后就可以访问 你的配置文...
2019-07-13 08:04:04 8228
apache-tomcat-6.0.18.exe
2016-07-11
MyEclipse10.1破解工具及方法图解.zip
2016-07-10
commons-logging-1.2-bin.zip
2016-06-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人