云计算和大数据
文章平均质量分 78
我的八仙桌
嘿嘿,小子,你还很嫩!!!
展开
-
hadoop报错 is longer than maximum configured RPC length 67108864
hadoop 2.7.3 集群,出现录入数据延迟高的问题,namenode日志中有报错信息:is longer than maximum configured RPC length 67108864报错原因:ipc实际通讯的数据包大于默认最大的数据包配置64MB解决办法:提高这个参数到128MB1、在下面3个配置中同时加上vi /data/usr/hadoop-2.7.3/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-d.原创 2020-06-11 18:03:22 · 1046 阅读 · 0 评论 -
记一次 HDFS NameNode GC 调优
参考:https://blog.csdn.net/shadyxu/article/details/94593336转载 2020-04-02 17:55:00 · 911 阅读 · 0 评论 -
hbase报错 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
hbase报错:hbase(main):001:0> statusERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMaster.java:2293)...原创 2020-04-02 17:13:10 · 575 阅读 · 0 评论 -
hadoop hbase 命令集合
./bin/hdfs zkfc -formatZK 初始安装时初始化zk,在Zookeeper中创建了路径/hadoop-ha/hacluster./bin/hdfs haadmin -getServiceState master1 查看主节点的状态,是active还是standby./bin/hdfs haadmin -failover master1 master2 将maste...原创 2020-04-01 18:21:43 · 212 阅读 · 0 评论 -
hbase GC优化
编辑配置文件编辑 hbase-env.shexport HBASE_OPTS="$HBASE_OPTS -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+UseCMSCompactAtFullCollection -XX:CMSFullG...原创 2019-11-12 17:54:47 · 282 阅读 · 0 评论 -
记一次hadoop大数据集群生产事故
陆续对原有的hadoop、hbase集群做了扩容,增加了几个节点,中间没有重启过,今天早上发现一个hregionserver服务停止了,就先启动服务,没想到启动之后一直有访问数据的出错,尝试对整个hbase集群进行重启出现了下面的错误:$ start-hbase.shmaster running as process 112580. Stop it first.The authenti...原创 2018-11-07 22:26:21 · 357 阅读 · 0 评论 -
[总结型] HADOOP HDFS BALANCER介绍及经验总结
转载之:http://www.aboutyun.com/thread-7354-1-1.html1.集群执行balancer命令,依旧不平衡的原因是什么?该如何解决?2.尽量不在NameNode上执行start-balancer.sh的原因是什么?集群平衡介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候,将引...转载 2018-07-15 20:12:10 · 2265 阅读 · 0 评论 -
hadoop0.20.2完全分布式安装配置
三台服务器分别配置IP为:192.168.11.131192.168.11.132192.168.11.133分别配置主机名master:# hostnamectl set-hostname master其它两台分别配置为slave1和slave2各服务器关闭selinux和防火墙:# vi /etc/sysconfig/selinuxSELINUX=enforcing --> SELINU...原创 2018-06-27 23:26:28 · 153 阅读 · 0 评论 -
hadoop及hbase集群增加节点
老的集群服务器:192.168.11.131 master1192.168.11.132 master2192.168.11.133 slave1192.168.11.134 slave2192.168.11.135 slave3新加入的节点:192.168.11.136 slave4192.168.11.137 slave5一、hadoop扩容1、配置各节点hosts文件,加入新加入的两个节点的...原创 2018-07-08 15:16:09 · 2848 阅读 · 0 评论 -
生产环境下hadoop HA集群及Hbase HA集群配置
一、环境准备操作系统版本:centos7 64位hadoop版本:hadoop-2.7.3hbase版本:hbase-1.2.41、机器及角色IP 角色 192.168.11.131 Namenode DFSZKFailoverController ResourceManager Jobhistory ...原创 2018-07-08 12:10:29 · 1948 阅读 · 2 评论 -
记录一次生产环境hadoop集群优化以及pid文件缺失处理
一、优化准备优化需要根据实际情况综合分析1、关闭系统swap分区(如果未关闭的话)在Hadoop中,如果使用系统默认设置,会导致swap分区被频繁使用,集群会不断发出警告。对于每个作业处理的数据量和每个Task中用到的各种缓冲,用户都是完全可控的。echo "vm.swappiness = 0" >> /etc/sysctl.conf说明:尽量不使用交换分区,注意不是禁用2、资源和配置...原创 2018-06-10 21:03:49 · 1215 阅读 · 3 评论 -
hadoop及hbase集群启停的几种方式
1、生产环境集群2、web管理页面hadoop web管理页面(主备)http://192.168.10.101:50070http://192.168.10.102:50070hbase web管理页面(主备)http://192.168.10.101:16010http://192.168.10.102:160103、启动和停止服务3.1、启动顺序Hadoop及hbase集群启动顺序zooke...原创 2018-06-10 21:02:48 · 5412 阅读 · 0 评论 -
优化Hadoop Balancer平衡的速度
转载之:https://blog.csdn.net/jiangshouzhuang/article/details/52367706之前我在博客中介绍了HDFS的Block数据balancer重分布实战内容:http://blog.csdn.net/jiangshouzhuang/article/details/51879102 本篇文章我们再来简单介绍一下优化Hadoop Balancer平衡的...转载 2018-07-15 20:15:28 · 1113 阅读 · 0 评论 -
HDFS文件系统空间使用情况分析
1、查看集群的空间使用状态[hduser@master1 bin]$ ./hdfs dfsadmin -reportConfigured Capacity: 8453768839168 (7.69 TB)Present Capacity: 7959274510394 (7.24 TB)DFS Remaining: 4128882869718 (3.76 TB)DFS Used: 383039164...原创 2018-07-15 20:16:19 · 9743 阅读 · 0 评论 -
HADOOP HBASE配置注意事项
1、yum安装的jdk工具1.8版本,在配置hbase1.2版本需要在hbase-env.sh配置文件中注释掉下面的内容:export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPT...原创 2018-07-15 20:16:54 · 269 阅读 · 0 评论 -
ZKFC服务异常:Parent znode does not exist.
昨天搭建了一套hadoop集群,今天发现两个namenode的zkfc服务起不来,在zkfc日志中发现如下所示的信息:Unable to start failover controller. Parent znode does not exist../bin/zkCli.sh -server master1ls /没有看到/hadoop-ha解决方法:进入hadoop namenode服务器./b...原创 2018-07-15 20:17:34 · 1345 阅读 · 0 评论 -
开发环境 hadoop&hbase集群环境磁盘丢失处理总结
问题描述: 集群192.168.22.178 master1192.168.22.179 master2 192.168.22.40 data1&zk&kafka&es192.168.22.69 data2&zk&kafka&es192.168.22.177 data3&kafka&es 192.1...原创 2019-01-19 22:08:18 · 312 阅读 · 0 评论 -
centos7 hadoop-2.7.3完全分布式安装配置
操作系统版本:centos7 64位hadoop版本:hadoop-2.7.3hbase版本:hbase-1.2.4机器:192.168.11.131 master1 Namenode ResourceManager QuorumPeerMain Jobhistory HMaster DFSZKFailove...原创 2019-01-19 22:31:36 · 370 阅读 · 0 评论 -
hdfs目录存储最大文件数异常MaxDirectoryItemsExceededException
错误信息:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException): The directory item limit of /XXX/XXX/FF is exceeded: limit=1048576 it...原创 2019-04-18 11:05:44 · 1130 阅读 · 0 评论 -
datanode 内存及GC优化
事件描述:datanode内存被占用过大,负载过高,查看 hdfs dfsadmin -report 发现状态为 Dead ,查看datanode日志文件hadoop-sphuser-datanode-XXX.log ,发现下面的错误。2019-05-11 16:20:26,551 ERROR org.apache.hadoop.hdfs.server.datanode.Direct...原创 2019-05-17 19:31:38 · 4007 阅读 · 0 评论 -
hbase报错: hbase.PleaseHoldException: Master is initializing
查看hbase服务状态报错:hbase(main):001:0> statusERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMast...原创 2019-09-02 11:36:19 · 644 阅读 · 0 评论 -
hadoop2.9.1伪分布式环境搭建
1、准备1.1、在vmware上安装centos7的虚拟机1.2、系统配置配置网络# vi /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO=staticONBOOT=yesIPADDR=192.168.120.131GATEWAY=192.168.120.2NETMASK=255.255.255.0DNS1=8.8.8.8DNS2=4.4.4...原创 2018-06-10 21:00:55 · 725 阅读 · 0 评论 -
hadoop0.20.2伪分布式环境搭建
虽然现在hadoop版本已经到了主流2点多的时代,但是对于学习大数据而言,我还是选择从以前老的版本0.20.2学起。下面就是伪分布式的环境搭建过程。hadoop下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gzlinux系统版本:centos71、配置主机名[root@localhos...原创 2018-06-21 23:06:26 · 169 阅读 · 0 评论 -
记一次测试环境Hbase数据备份恢复以及恢复后部分表无法删除的问题处理
一、Hbase数据备份恢复说明:因为测试环境要修改hadoop配置文件hdfs-site.xml的参数hdfs.rootdir修改前的配置 <property> <name>hbase.rootdir</name> <value>hdfs://masters/hbase1</value> </p...原创 2018-06-21 23:05:30 · 210 阅读 · 0 评论 -
openstack迁移云主机总汇 其一(云主机热迁移)
openstack迁移总汇目录1 热迁移之block-migration 1.1 查看物理主机CPU 1.2 修改hosts文件 1.3 开启热迁移 1.4 修改防火墙 1.5 virsh测试是否可以连通对端机器 1.5.1 方法1 1.5.2 方法2 1.6 迁移情况 1.7 下面的作为参考 ...原创 2018-05-11 09:03:16 · 2012 阅读 · 0 评论 -
openstack项目中遇到的各种问题总结 其四(迁移实验)
五、实验 5.1、迁移实验 冷迁移实验 1)、暂停云主机 2)、ssh登录YUN-12主机# cd /var/lib/nova/instances# scp -rp dbaab72b-75c3-4dc5-99f2-95a579a315c5 root@test -compute:/var/lib/nova/instances 3)、ssh登录YUN-11主机修改数据库# mysqluse nova;...原创 2018-05-11 09:03:11 · 1333 阅读 · 0 评论 -
openstack项目中遇到的各种问题总结 其三(命令汇总)
三、注意事项3.1、挂载目录是需要注意的事项把分区挂载到目录下的操作要谨慎小心对于存放系统重要文件的目录不要挂载,对于目录下有重要文件的目录需要做备份,因为挂载过程中会把目录清空 四、命令汇总4.1、openstack命令汇总查看openstack节点上服务状态[root@YUN-14 ~]# openstack-status 当实例启动失败时可以尝试一下命令(test为虚机的名字)重置虚机的状...原创 2018-05-11 09:03:05 · 854 阅读 · 0 评论 -
openstack项目中遇到的各种问题总结 其二(云主机迁移、ceph及扩展分区)
二、日常工作汇集 2.1、迁移总汇 2.1.1、在虚机的环境下的云主机迁移在vmware workstation创建多台linux虚机,在这几台虚机中搭建openstack环境,然后做云主机的迁移实验。 例如下面的实验:操作主机主机IP 主机名 角色192.168.0.11 YUN-11 控制节点192.168.0.12 YUN-12 ...原创 2018-05-11 09:03:00 · 1922 阅读 · 0 评论 -
openstack项目中遇到的各种问题总结 其一(问题多多)
目录:一、 从开始到现在遇到的各种问题 1.1、单网卡下搭建openstack出错 1.2、云平台上虚机搭建MDS系统遇到的问题 1.2.1、内部网路和外部网络的联通问题 1.2.2、windows虚机下对于3D的支持问题 1.2.3、对于windows的兼容问题 1.3、扩展节点的部分问题 1.3.1.、扩展...原创 2018-05-11 09:02:51 · 5096 阅读 · 0 评论 -
openstack结合glusterfs存储 其二(部署以及优化)
3、部署O+G环境3.1、每台机器上安装gfs组件# yum install -y glusterfs-server 3.2、在YUN21上安装packstack,并部署openstack 首先更新每台机器# yum update -y && reboot这里在更新的时候由于系统的原因(和最简化系统对比),没有在Centos软件源中找到google为开头的两个软件,可以通过wget...原创 2018-05-11 09:02:41 · 533 阅读 · 0 评论 -
openstack结合glusterfs存储 其一(准备工作)
1、机器信息2、准备工作2.1、关闭NetworkManager服务2.2、上传repo文件2.3、在每个机器上做时间同步2.4、每台机器上关闭selinux服务、配置防火墙2.5、每台机器上配置hosts文件3、部署O+G环境3.1、每台机器上安装gfs组件3.2、在YUN21上安装packstack,并部署openstack3.3、创建gfs卷并挂载3.4、进入dash,上传镜像,创建网络,修...原创 2018-05-10 09:09:43 · 440 阅读 · 0 评论 -
Openstack云计算项目实施 其三(遇到问题以及注意事项)
6 扩展服务 7 日常问题排查与解决 7.1 准备工作遇到的问题 7.1.1 物理主机分区问题 案例: 在物理主机安装系统过程中忘记调整分区,结果在 openstack 部署之后发现 openstack 集群磁盘总量太小,原因是安装系统默认分区/home 分区过大,而/ 分区过小,openstack 集群磁盘识别的是系统/ 分区 解决办法: 以控制节点为例 查看分区 [root@YUN-...原创 2018-05-10 09:08:44 · 508 阅读 · 0 评论 -
Openstack云计算项目实施 其二(安装后日常运维)
5 安装后日常运维 运维基本的操作都在控制节点上的,较为方便的方式就是在openstack 的 dashboard(仪表盘)中进行,进入 dashboard 的方式就是直接在浏览器中输入控制节点的 IP 地址。(需要注意的是浏览器选择方面最好选择火狐浏览器或则谷歌浏览器,因为相对于 IE 浏览器而言,前面两个浏览器对于 openstack 的支持性要好,使用 IE 会在打开实例控制台时无法进入,出...原创 2018-05-10 09:07:59 · 681 阅读 · 0 评论 -
openstack迁移云主机总汇 其二(云主机冷迁移)
2冷迁移冷迁移有两种方式:一种方式只能在同一个openstack集群中做,另一种可以再相同或者不同的集群中做在做冷迁移之前记得把要迁移的实例关机 2.1方法1把主机名为YUN-19上的实例迁移到YUN-20上,两个节点在同一个集群中,其中YUN-19是控制节点2.1.1在YUN-19上,修改数据库(修改数据库必须要在控制节点上做)# mysqlmysql> use nova;mysql>...原创 2018-05-11 09:03:22 · 2426 阅读 · 1 评论 -
Apache Hadoop* 软件的英特尔® 分发版环境搭建
21世纪毋庸置疑是属于云的时代,各种云应运而生(云物联、云计算、云游戏、云存储....) 而hadoop正是云时代的产物,Hadoop是一个能够对大量数据进行分布式处理的软件框架, Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理. Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:高可靠...原创 2018-05-10 08:58:49 · 237 阅读 · 0 评论 -
HDFS架构原理
转载之:https://blog.csdn.net/u012453843/article/details/52463165 前面一节我们初步学习了HDFS,仅停留在那个阶段是不行的,我们还要深入学习HDFS架构,学习其工作原理,这节课我们便一起来学习HDFS的架构。 首先,我们来看一下Hadoop1.0和Hadoop2.0伪分布式架构下HDFS的组成,如下图所示,我们可以看到...转载 2018-06-21 23:04:39 · 612 阅读 · 0 评论 -
hbase单节点安装部署
本次配置延续之前的博客的hadoop2.9.1伪分布式环境搭建资源下载http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gzhttp://mirror.bit.edu.cn/apache/hbase/stable/hbase-1.2.6-bin.tar.gz 1、为hadoop管理用户...原创 2018-06-21 22:43:18 · 1142 阅读 · 0 评论 -
hadoop2-shell操作详解
转载之:https://www.cnblogs.com/870386641drh/p/4262593.htmlFS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统...转载 2018-06-21 22:39:03 · 149 阅读 · 0 评论 -
Hadoop权威指南摘录---1
1、为何不用RAIDHDFS所提供的节点间数据复制技术已可满足数据备份需求,无需使用RAID冗余机制。RAID 0速度比JBOD(Just a Bunch Of Disks)慢,JBOD在所有磁盘之间循环调度HDFS块。RAID 0的读写操作受限于磁盘阵列中最慢盘片的速度,而JBOD的磁盘操作均独立,因而篇平均读写速度高于最慢盘片的读写速度。2、服务是否可以放在一台服务器上对于一个小集群(几十个节...原创 2018-06-13 21:21:09 · 251 阅读 · 0 评论 -
hadoop学习笔记2---hadoop的三种运行模式
1、单机模式安装简单,在一台机器上运行服务,几乎不用做任何配置,但仅限于调试用途。没有分布式文件系统,直接读写本地操作系统的文件系统。2、伪分布式模式在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等进程,模拟分布式运行的各个节点。配置已经很接近完全分布式。3、完全分布式模式正常的Hadoop集群,由多个各司其...原创 2018-06-13 21:20:39 · 225 阅读 · 0 评论