自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Hadoop+hbase+zookeeper完全分布式搭建

Hadoop+hbase+zookeeper完全分布式搭建 一.环境说明 集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下: Hostname IP ...

2018-05-21 14:45:56 2296 5

原创 kafka搭建,原理,以及python操作kafka——总结

Kafka文档 Kafka介绍: Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的...

2018-03-14 23:21:09 4239 1

转载 python pefile模块---解析pe

转载自:http://blog.csdn.net/b_h_l/article/details/9371611 这个是基于MIT licence的一个开源项目,你可以在上面做更多的开发。 开发包的下载地址 http://code.google.com/p/pefile/ 我觉得有以下几点...

2018-02-10 12:58:07 2684 0

转载 模糊哈希算法工具ssdeep的使用

转自:http://blog.csdn.net/chichoxian/article/details/54849406 引言 ssdeep 是一个用来计算context triggered piecewise hashes(CTPH) 基于文本的分片哈希算法 ,同样也可以叫做模糊哈希 Fuzz...

2018-02-09 11:17:00 2450 0

原创 python脚本玩微信跳一跳。这对程序员来说算游戏?

原理说明 1.将手机点击到《跳一跳》小程序界面; 2.用Adb 工具获取当前手机截图,并用adb将截图pull上来 3.用matplot显示截图(已经图像识别处理) 4.用鼠标点击起始点和目标位置,计算像素距离 (已经图像识别处理) 5.根据像素距离,计算按压时间; 6.用Adb工...

2018-01-05 16:58:36 3163 0

原创 Ubuntu下Titan 环境搭建

Titan官网:http://titan.thinkaurelius.com/ 首先我们要了解Titan的一些特性,知道什么情况用到Titan 1.弹性和线性可伸缩性的增长数据和用户群。 2.数据分布和复制和容错性能。 3.多数据中心的高可用性和热备份。 4.支持 ACID事务和 ...

2017-11-17 13:30:59 387 0

原创 HADOOP生态圈介绍

1. hadoop 生态概况 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 具有可靠、高效、可伸缩的特点。 Hadoop的核心是YARN,HDFS和Mapreduce 下...

2019-09-05 20:29:54 81 0

翻译 HugeGraph简介及部署

Welcome to HugeGraph Summary HugeGraph是一款易用、高效、通用的开源图数据库系统(Graph Database,GitHub项目地址),实现了Apache TinkerPop3框架及完全兼容Gremlin查询语言,具备完善的工具链组件,助力用户轻松构建基于图...

2019-08-29 23:38:01 503 0

原创 python加载ini配置文件(configparser)

前言 使用配置文件来灵活的配置一些参数是一件很常见的事情,配置文件的解析并不复杂,在python里更是如此,在官方发布的库中就包含有做这件事情的库,那就是configParser configParser解析的配置文件的格式比较象ini的配置文件格式,就是文件中由多个section构成,每个s...

2019-05-23 20:48:14 185 0

原创 Systemd 详解

转载:http://www.ruanyifeng.com/blog/2016/03/systemd-tutorial-part-two.html 一、开机启动 对于那些支持 Systemd 的软件,安装的时候,会自动在/usr/lib/systemd/system目录添加一个配置文件。 如果...

2019-05-23 17:47:25 188 0

原创 centos7环境搭建hadoop+hbase+zookeeper+phoenix+thritf

一.环境说明 系统:CentOS Linux release 7.6.1810 (Core) IP:10.255.175.84 Jdk:1.8.0_25 Hadoop:2.7.5 Hbase:1.2.6 Zookeeper: zookeeper-3.4.10 Phoenix: pho...

2019-04-17 11:10:11 304 0

原创 centos7安装go环境(脚本)

官方下载地址:https://golang.google.cn/dl/ install_go.sh: #!/bin/sh Environment=/etc/profile function InstallGo() { wget https://dl.google.com/go/go1.12...

2019-03-07 09:46:07 489 0

原创 git Updates were rejected because the tip of your current branch is behind

由于当前版本低于远程仓库版本。 方法一。先pull远程仓库修改在push     git pull origin master     git push -u origin master 方法二。创建新分支,在push     git branch 新分支名     git push ...

2019-01-28 16:01:15 136 0

原创 libvirt: error : cannot execute binary /usr/bin/qemu-kvm: Permission denied

libvirt创建虚拟机报错: internal error unable to start guest libvirt: error : cannot execute binary /usr/bin/qemu-kvm: Permission denied 解决: 检查状态: # get...

2019-01-18 16:18:11 1234 0

原创 libvirt启动失败Failed to start Virtualization daemon

libvirt启动失败Failed to start Virtualization daemon 更新相关依赖: #yum update librbd1 重启libvirt: systemctl start libvirtd

2019-01-18 16:10:22 1147 1

转载 Linux系统下ssh使用总结

转自:https://www.cnblogs.com/kevingrace/p/6110842.html -bash: ssh: command not found 解决办法; yum install -y openssh-server openssh-clinets (0)ssh登录时提示:...

2019-01-07 09:22:13 2899 4

原创 centos7安装内核及修改默认启动内核

Centos7系统更改内核启动顺序 检查系统内有多少个内核: # cat /boot/grub2/grub.cfg |grep menuentry 配置默认启动内核:        # grub2-set-default “CentOS Linux(****)7(Core)” 检查是否修...

2018-12-21 14:26:38 1125 0

原创 pip报错ImportError: No module named 'pkg_resources'

使用pip报错ImportError: No module named 'pkg_resources'   方法一:          yum remove python-pip          yum remove epel-release 然后重装 方法二: ...

2018-12-21 14:12:57 1456 0

原创 初步了解并使用runc

简介:        官方说明:runC是一个根据OCI(Open Container Initiative)标准创建并运行容器的CLI tool        解释说明:简单理解,runc其实就是Docker最核心的部分,runc可以不通过Docker引擎,直接创建,运行,销毁容器。 我的...

2018-12-11 15:39:41 287 0

原创 python ImportError: Bad magic number

是python版本不兼容的问题。 解决办法:删除pyc即可     magic number是类UNIX系统上文件的前几个字节的内容,它标志着该文件的类型。Python在编译生成pyc文件时做了一个类似的标记。当Python解释器加载pyc文件时必须先验证该文件的magic number是否正...

2018-12-04 16:43:28 3738 0

原创 bash: ip command not found centos

解决bash: ip command not found centos报错: false:yum -y install ip true:yum -y install initscripts

2018-11-22 09:35:17 255 0

原创 Failed to get D-Bus connection: Operation not permitted centos7 docker runc

最近遇到了一个问题,在centos7的容器中service启动服务会报错Failed to get D-Bus connection: Operation not permitted [root@ng8w7c7 /]# service ng8w status Redirecting to /bi...

2018-11-09 09:53:51 3219 1

原创 CentOS 7 配置网络

刚装好了服务器系统需要配置网络,再有多个网络设备接口的配置时,可能会遇到eth0,eth1,eth2。。。 ethtool: 一个简单好用的小工具。 使用方法:ethtool -p devname(例:ehtool -p  eth0) 回车后与eth0相对应的网卡接口的指示灯会闪烁,直到C...

2018-11-05 11:14:48 92 0

原创 系统救援模式(备份数据)

背景:公司一台服务器系统故障,/home以及系统下有重要数据需要保留,我们要做的是备份数据然后重装系统。 光盘启动: 不同机器方式不同(一般为F2或F11),再次不做详细表述。引导后进入如下界面: 我们选择Troubleshooting修复系统 之后选择营救系统 按回车继续 ...

2018-11-05 10:19:27 1060 0

原创 Linux系统下使用rz / sz上传下载

    经常使用linux系统的人来说,少不了本地文件上传到服务器,或者服务器上下载。而有些时候使用类似WinScp并不是很方便,例如一些需要跳板机ssh链接的服务器。 安装 我的机器是CentOS,直接 使用yum安装 yum install -y lrzsz 使用 sz:发送文件到本...

2018-10-30 14:11:11 917 0

原创 常用的抓包工具

建议先了解不同协议和网络层的数据包结构。不然,你将无法了解如何做包分组工作,以及这些工具如何使用。出于学习目的,在使用这些工具列表之前,你必须了解不同协议的数据包,包中的不同字段,这些包字段的含义或目的,以及这些包在网络通信中的使用方式。一旦你知道这些事情,你将能够改变这些值,以便你在网络中看到你...

2018-10-24 14:30:37 836 0

原创 shell脚本+定时任务解决elasticsearch异常自动重启

shell: #!/bin/bash #进程ID ES_ID=`ps -ef |grep elasticsearch |grep -w 'elasticsearch'|grep -v 'grep'|awk '{print $2}'` #...

2018-09-06 17:24:29 739 0

原创 hadoop集群安装压缩工具snappy(用于hbase)

hadoop集群安装:https://blog.csdn.net/weixin_40596016/article/details/80392109     之前配置ganglia监控hadoop集群,发现cpu的负载并不是很高。所以为了节省服务器的存储成本,并提高吞吐,打算开启HBase的数据压...

2018-09-06 14:07:27 339 0

转载 Ganglia监控hdfs+hbase集群

Ganglia     Ganglia是UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能,如:cpu 、mem、硬盘利用率, I/O负载、网络流量情况等,通过曲线很容易见到每个...

2018-08-21 13:59:30 158 0

原创 关于kafka处理大消息的方法

    最近发现kafka在发送一些大消息的时候会报错,修改了配置max.request.size。问题依旧。     后来查阅了一下,都说要调大限制message大小的参数,不过试过之后发现貌似没什么作用。查阅文档发现之前用的客户端kafka已经三年没更新了0.0,后改为目前官方推荐的客户端co...

2018-08-01 16:29:44 2353 4

原创 java.io.FileNotFoundException (Too many open files)

今天kafka集群报错,查看日志提示 [2018-07-18 17:34:02,672] ERROR Error while rolling log segment for PREPROCESS in dir /mnt/sdc (kafka.server.LogDirFailureChannel...

2018-07-19 09:29:16 1584 0

原创 windows下使用git上传项目到gitlab

【一】安装git:  https://git-scm.com/downloads【二】新建工程【三】创建秘钥右击桌面会出现命令行窗口然后进入cd ~/.ssh/配置全局的name和email    git config --global user.name "***"    g...

2018-06-12 15:19:50 1444 0

原创 CentOS7配置ISCSI客户端

iSCSI Initiator(客户端)[一]安装ISCSIInitiator# yum -y install iscsi-initiator-utils[二]启动iscsi服务# systemctl start iscsi[三]设置开机启动服务# systemctl enable iscsi[四...

2018-06-05 09:58:54 2091 0

原创 kafka性能测试

写入压力测试kafka-producer-perf-test.sh--topic             topic名称,本例为test_property--num-records       总共需要发送的消息数,本例为1000000--record-size       每个记录的字节数,本例...

2018-06-05 09:43:34 1595 0

原创 贪吃蛇

#!/usr/bin/env.python# -*- coding: utf-8 -*-import pygame,sys,time,randomfrom pygame.locals import *# 定义颜色变量redColour = pygame.Color(255,0,0)blackCol...

2018-05-30 16:00:59 324 0

原创 linux挂载大磁盘(超过2T)

df -h准备工作若无 parted 分区命令,则先进行安装yum install parted -y若无 xfs 文件 或者 无mks.xfs命令:yum install kmod-xfs xfsprogs分区操作  $ parted /dev/sdb(parted) select /dev/s...

2018-05-21 14:47:51 3305 0

原创 报错Hbase:namespace

今天遇到一个现象,创新挂载硬盘存储后,重启hbase启动正常,但是创建表的时候报错,换个表名正常。开始以为是节点数据没有清除的问题,删除临时文件和数据重启后问题依旧。看了下日志报错org.apache.hadoop.hbase.TableExistsException: hbase:namespa...

2018-05-08 17:18:30 240 0

原创 完整编译安装yara

最近使用yara发现会报各种cuckoo,libjansson,libmagic的错误,研究后发现需要编译安装各种依赖和包。 如果已经安装过yara,建议删除 /usr/local/lib/libyara* /usr/local/bin/yara 下载解压,然后 ./config...

2018-04-25 12:06:22 1216 0

原创 master.HMasterCommandLine: Master exiting Cannot assign requested address. To switch ports use the '

在搭建hdfs起hbase的时候报错 2018-04-25 10:56:41,772 ERROR [main] master.HMasterCommandLine: Master exiting java.lang.RuntimeException: Failed construction o...

2018-04-25 11:13:25 995 0

原创 python 获取列表中元素以及出现次数

import collections list_data = [] d = collections.Counter(list_data) for k in d:     print k,d[k]#k为列表中元素,d[k]为出现次数。

2018-04-12 17:15:17 952 0

提示
确定要删除当前文章?
取消 删除