2015年12月_UpUpUpUpUpUpUp

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月

转载记redis被攻击笔记

公司redis集群不断丢失数据，莫名进程不断涌起。经过几天排查，锁定redis被攻击。很多使用者都是把redis下载到服务器直接运行使用，无ACL，无密码，root运行，且绑定在0.0.0.0:6379，暴露在公网。攻击者在未授权访问 Redis 的情况下通过redis的机制，可以将自己的公钥或者其他恶意程序写入目标服务器中，从而可以直接控制目标服务器。下面还原攻击情况：寻找无验证的redis服

2015-12-31 16:39:22 3530

转载 Linux系统下测试端口

方法一：ssh 命令检测用法：ssh -v -p port username@ip-v 调试模式，会打印日志-p 指定端口username 可以随意写方法二：wget命令检测用法：wget ip:port

2015-12-29 21:29:04 476 1

原创 bash: useradd: command not found

利用su先进入root，然后在root下敲入useradd dauglas命令，但是敲入以后特别奇怪，出现以下错误： bash: useradd: command not found 在网上查了一下，发现应该如下操作：利用su -，而不是su进入root,然后再敲useradd dauglas，这样就OK了。注意，是su -而不是su。因为su是只取得ROOT的权限，su - 是取得RO

2015-12-17 15:20:44 2069

原创 Spark集群搭建

Spark集群是建立在hdfs分布式基础上的，首先我们准备hdfs分布式环境（zookeeper）。1：其次我们需要下载scala，因为spark是基于scala语言编写的。下载地址：http://www.scala-lang.org/download/2.10.4.html2：安装和配置Scala我们需要在SparkMaster(hadoop01)、SparkWorker1(hadoop05)

2015-12-14 17:52:37 411

原创 mysql表的死锁解决

1、查询是否锁表 show OPEN TABLES where In_use > 0;2、查询进程 show processlist 查询到相对应的进程===然后 kill id

2015-12-14 15:48:59 583

原创 storm常见问题解决方案

发布topologies到远程集群时，出现Nimbus host is not set异常原因是Nimbus没有被正确启动起来，可能是storm.yaml文件没有配置，或者配置有问题。解决方法：打开storm.yaml文件正确配置：nimbus.host: “xxx.xxx.xxx.xxx”，重启nimbus后台程序即可。发布topologies到远程集群时，出现AlreadyAliveE

2015-12-11 12:28:59 1125

原创 storm集群部署

1、安装一个zookeeper集群2、上传storm的安装包，解压3、修改配置文件storm.yaml所使用的zookeeper集群主机 storm.zookeeper.servers: - “weekend05” - “weekend06” - “weekend07”nimbus所在的主机名 nimbus.host: “weekend05”superviso

2015-12-11 12:25:33 424

kafka笔记 1/kafka是一个分布式的消息缓存系统2/kafka集群中的服务器都叫做broker3/kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接4/kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分区，以分担消息读写的负载5/每一个分区都可以有多个副

2015-12-11 12:23:38 448

原创 shell根据系统硬盘大小删除文件

#!/bin/shFILE_NAME=`date +%y%m%d%H`cp -r /data/redis/bin79/dump.rdb /data/redis/data/dump_$FILE_NAME.rdbcode=`df -k /data | grep -v Available | awk '{print $5}' | awk -F% '{print $1}'`echo $codeif

2015-12-11 12:17:13 548

原创 zookeeper分布式共享锁curator案例

引入的jar包maven: 还需要hadoop-common的jar和guava的jar，均在hadoop包里面。。。。<dependency> <groupId>org.apache.curator</groupId> <artifactId>curator-client</artifactId> <version>2.8.

2015-12-11 12:10:59 1252