![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
finbarr45
致力于IT、金融、医疗事业。
展开
-
HBase性能优化
HBase性能优化修改Linux最大文件数Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误,导致整个HBase不可运行查看: ulimit -a 结果:open files (-n) 1024临时修改: ulimit -n 4096持久修改:vi /etc/security/limits.conf在文件最后加上:* soft nofile 65535* hard no...原创 2021-03-13 22:49:16 · 129 阅读 · 0 评论 -
MapReduce经典案例总结
MapReduce经典案例总结首先得搭好hadoop环境,windows搭好单机环境1、根据手机号统计上网流量,统计上行流量、下行流量和总流量数据如下,文件flow.log,上传到hadoop集群目录/flow/input,经过一次mapper,Reducer完成统计,mapper默认使用TextInput,...原创 2021-03-09 20:56:12 · 2438 阅读 · 0 评论 -
HDFS文件系统操作
HDFS文件系统操作1、文件的新增2、文件删除3、文件修改4、文件查询package com.skymesh.hadoop.hdfs;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.fs.permission.FsPermission;import j原创 2021-03-09 20:29:22 · 226 阅读 · 0 评论 -
Hadoop强大性能测试
Hadoop强大性能测试环境说明:本机window10 64位,内存16g,vmware12 pro,centos7,hadoop-2.6.4体会了hadoop的高可扩展,高可用性,故障恢复,以及HDFS文件存储分块,MapReduce快速计算。一、使用虚拟机搭建hadoop集群搭建搭建说明:192.168.136.128 hadoop1 nameNode ResourceManage192.168.136.129 hadoop2 dataNode NodeManager192.原创 2021-02-16 12:00:54 · 739 阅读 · 0 评论 -
hadoop2.x重新编译64位本地库
Hadoop2.4.0 重新编译 64 位本地库环境:虚拟机 VirtualBox,操作系统 64 位 CentOS 6.4下载重新编译需要的软件包apache-ant-1.9.4-bin.tar.gzfindbugs-3.0.0.tar.gzprotobuf-2.5.0.tar.gzapache-maven-3.0.5-bin.tar.gz下载 hadoop2.4.0 的源码包...原创 2019-06-12 20:34:27 · 2039 阅读 · 1 评论 -
namenode和datanode安全模式
当namenode发现集群中的block丢失数量达到一个阀值时,namenode就进入安全模式状态,不再接受客户端的数据更新请求在正常情况下,namenode也有可能进入安全模式: 集群启动时(namenode启动时)必定会进入安全模式,然后过一段时间会自动退出安全模式(原因是datanode汇报的过程有一段持续时间) 也确实有异常情况下导致的安全模式 原因:bloc...原创 2019-06-02 13:37:34 · 504 阅读 · 0 评论