hadoop
junehappylove
上善若水。水善利万物而不争,处众人之所恶,故几于道。居,善地;心,善渊;与,善仁;言,善信;正,善治;事,善能;动,善时。夫唯不争,故无尤。
展开
-
HDFS磁盘满了扩容
所有文件放在VirtualBox虚拟机中,项目中在HDFS存的数据文件已满,增加磁盘扩容将新增的磁盘挂载到/root/work路径步骤:1. 添加新硬盘 设置 -> Storage -> SATA控制器->右击,选择“添加虚拟硬盘” 然后,根据需求创建合适的硬盘 2. 重启虚拟机 查看现有的磁盘空间 sudo fdisk -l 可看到新加的虚拟硬...原创 2019-11-06 18:30:16 · 1217 阅读 · 0 评论 -
Win7(64)+Eclipse+Hadoop2.6.4开发环境搭建--转载记录一下,虽然还没有配置成功
Hadoop开发环境搭建一、软件准备JDK:jdk-7u80-windows-x64.exehttp://www.oracle.com/technetwork/java/javase/archive-139210.htmlEclipse:eclipse-jee-mars-2-win32-x86_64.ziphttp://www.eclipse.org/dow转载 2016-08-08 09:21:55 · 3065 阅读 · 0 评论 -
CentOS 7 开放防火墙端口命令
使用方法如下:关闭防火墙systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动开启端口firewall-cmd --zone=public --add-port=80/tcp --permanent命令含义:zone #作用原创 2017-06-28 19:55:20 · 778 阅读 · 1 评论 -
大数据集群-这是一篇longlong的博客
ip设置:服务器中共虚拟了6台虚拟机:hadoop1 :内存8G,硬盘2T hadoop2 :内存8G,硬盘2T hadoop3 :内存8G,硬盘2T zookeeper :内存8G,硬盘2T redis :内存8G,硬盘2T ethings :内存8G,硬盘2T192.168.56.101 hadoop1 == hadoop2.7.4 + zookeeper3.4.10 +原创 2019-11-15 17:14:01 · 748 阅读 · 0 评论 -
Hadoop和spark中读取文件通配符使用举例
在单个操作中处理一批文件,这是一个常见的要求。举例来说,处理日志的MapReduce作业可能需要分析一个月内包含在大量目录中的日志文件。在一个表达式中使用通配符来匹配多个文件是比较方便的,无需列举第个文件 和目录来指定输入,该操作称为”通配”(globbing)。Hadoop 为执行通配提供了两个FileSystem方法:public FileStatus[] globStatus(Path pat原创 2017-11-30 17:13:11 · 3952 阅读 · 0 评论 -
java.io.IOException: No FileSystem for scheme: hdfs
最近在做一个大数据项目,用到hadoop(2.7.4)、spark(2.11),在做一个数据分片的时候,单独将程序打包提交任务到spark上执行没有任何问题,但是集成到web项目中后,就来问题了Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs这个问题有两种解决方法,第一种就是修改集群配置文件c原创 2017-12-26 11:07:05 · 10673 阅读 · 7 评论 -
优化Hadoop Balancer平衡的速度
hadoop(2.7.4)集群再用过一段时间后,发现某些节点使用度特别高,而有些这存储较少,这时就考虑对hadoop进行平衡优化了这时主要考虑两个影响因素参数的调整: dfs.datanode.max.transfer.threads 和 dfs.datanode.balance.bandwidthPerSecdfs.datanode.max.transfer.threads 修改dfs.d原创 2017-12-26 15:54:59 · 841 阅读 · 0 评论 -
Hadoop常用端口的配置
以下列表常用的hadoop配置端口基于hadoop2.7.4所列,不过不同hadoop版本在端口配置上所指意义基本是不变化的,如有例外请自查1.HDFS端口参数描述默认配置文件例子值fs.default.name namenodenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http...原创 2019-03-05 13:33:06 · 1121 阅读 · 0 评论