LINUX
JINGXI6
这个作者很懒,什么都没留下…
展开
-
HDFS standbyNameNode Java.io.IOException:Premature EOF from inputStream[运维必备]
1、报错Java.io.IOException:Premature EOF from inputStream可以看到是重演编辑日志时候出错了2、hadoop元数据目录Edits_ 编辑日志Fsimage_ 通过编辑日志合并而来的Edits_inprogress 正在往里写的编辑日志Seen_txid ...原创 2019-10-18 11:34:26 · 871 阅读 · 0 评论 -
HA_配置
规划Ssh信任配置方式Ssh信任配置方式Ssh-keygen -t rsa -P “12345678” Ssh-copy-id Copy zookeeper以及hadoop文件创建zookeeper/datas/myid文件 启动zookeeper 查看状态 zkServer.sh status //leader follower配置hadoop...原创 2018-08-16 13:45:50 · 449 阅读 · 0 评论 -
lnmp服务器搭建全过程
一直想有一个自己的博客,就购买了虚拟主机,同时我也是一个喜欢折腾的人,不喜欢集成环境。又想追求速度,所以就安装了纯净版的centos7.4 x64。lnmp:linux,Nginx、mysql,phplamp:linux、Apache、mysql,php两者的区别nginx相对于apache的优点:      轻量级,同样起we...原创 2018-12-29 17:13:56 · 1007 阅读 · 0 评论 -
集群磁盘扩容步骤
一、磁盘安装配置1、插入磁盘,重启2、重新启动服务器,进入webbios设置页面(开发集群使用ctrl + H 进入webbios,不同服务器可能不一样)3、界面左侧有配置阵列选项、下一步选择增加配置、手动配置、将左侧未配置的磁盘加入右侧驱动、选择raid0 模式,自动设置磁盘容量大小合并磁盘、进行磁盘初始化、保存重启二、挂载磁盘1、mkfs -t xfs /dev/sdc 对新磁盘进行...原创 2019-02-27 18:34:26 · 1416 阅读 · 0 评论 -
Spark实战经验
一、背景由于公司的老集群对于现有的开发工作者来说并不是特别的友好,数据模型也不是特别适用。所以为了让使用者更友好、数据更可靠,建立新集群、构建数仓,新集群搭建到使用,基于spark引擎自己构建ETL框架,在大量数据下,期间难免会遇到各种各样的问题。于是找几个踩过的比较经典的坑来说一下。二、采坑过程个人感觉单纯开发SparkStreaming的过程不叫经验,所以直接略过,来到测试环节,Spar...原创 2019-02-27 18:48:29 · 522 阅读 · 0 评论