2017年02月_小辣椒lllll

11月 10月 09月 07月 05月 04月 03月 02月 01月

转载 How to fix corrupt HDFS FIles

1 问题描述HDFS在机器断电或意外崩溃的情况下，有可能出现正在写的数据(例如保存在DataNode内存的数据等)丢失的问题。再次重启HDFS后，发现hdfs无法启动，查看日志后发现，一直处于安全模式。2 原因分析出现前面提到的问题主要原因是客户端写入的数据没有及时保存到磁盘中，从而导致数据丢失；又因为数据块丢失达到一定的比率，导致hdfs启动进入安全模式。

2017-02-24 19:55:17 893

原创 docker UFT-8乱码问题

1、使用docker镜像部署环境时，遇到界面上有中文乱码，使用locale命令查看字符集：[root@liudian-test /]# localeLANG=LC_CTYPE="POSIX"LC_NUMERIC="POSIX"LC_TIME="POSIX"LC_COLLATE="POSIX"LC_MONETARY="POSIX"LC_MESSAGES="POSIX"

2017-02-13 11:06:25 2495

原创 shell图形化菜单界面

如下写一个优雅的shell图形化界面#!/bin/bash# simple script menufunction diskspace { clear df -h}function whoseon { clear who}function memusage { clear cat /proc/meminfo}f

2017-02-13 00:13:38 6241 1

原创 hadoop批量创建互信脚本

1、hadoop安装的用户名和密码要统一2、将IP地址写入一个文件：[root@vmhost hadoop]# cat ip.txt 192.168.1.101192.168.1.102192.168.1.1033、互信脚本：#!/bin/shDEST_USER=$1PASSWORD=$2HOSTS_FILE=$3if [ $# -ne 3 ]; then e

2017-02-10 15:23:54 1109

原创 docker官方镜像下载及使用Dockerfile创建镜像

1、登陆docker hut官方网站：https://hub.docker.com/2、search centos3、docker pull centos:7.2.15114、创建Dockerfile文件：[root@vmhost centos7.2]# cat DockerfileFROM centos:7.2.1511MAINTAINER wanghongwei(wa

2017-02-10 15:13:28 4931

原创 hadoop生产集群离线datanode（遇到的问题及解决方法）

1、修改namenode节点的hdfs-site.xml（master主机） dfs.hosts.exclude file_path 2、file_path文件中存储要离线的几点名称3、执行命令 hdfs dfsadmin -refreshNodes 问题：执行到最发现50070界面数据块不发生变化，查看namenode发

2017-02-08 16:48:15 3834

原创 linux系统批量挂载磁盘（磁盘大于2T）

1、使用parted进行分区：#!/bin/bash #Used to fomat 6 disksPATH=/bin:/sbin:/usr/bin:/usr/sbinexport PATH i=1while [ $i -lt 7 ] doj=`echo $i|awk '{printf "%c",97+$i}'`parte

2017-02-07 20:08:05 1201