2017年05月_Gpwner

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Intellij idea<快捷键大全>

Intellij Idea常用快捷键

2017-05-29 20:23:45 553

原创 Kafka+storm+hbase<三者集成遇到坑以及解决办法>

本博客基于以下软件：Centos 7.3（1611）kafka_2.10-0.10.2.1.tgzzookeeper-3.4.10.tar.gzhbase-1.3.1-bin.tar.gzapache-storm-1.1.0.tar.gzhadoop-2.8.0.tar.gzjdk-8u131-linux-x64.tar.gzIntelliJ IDEA 2017.1.3 x64 I

2017-05-28 23:06:02 8086 3

原创 Storm<配置文件的坑>

今天重新安装了一下strom:apache-storm-1.1.0.tar.gz解压之后，在写配置文件：Storm/conf/storm.yaml完成之后，启动报错说是无法解析配置文件Caused by: while parsing a block mapping in 'reader', line 18, column 1: storm.zookeeper.servers:

2017-05-27 14:45:16 2224

原创 Python<Numpy常见用法>

1.基本数据类型 2.修改shapeIn [18]: y=np.arange(2*3*4)In [19]: yOut[19]:array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23])In [20]: y.shape=(3,8)In

2017-05-17 23:54:41 716

原创 Hbase<踩过的坑--使用intellij idea调用JavaAPI创建预分区>

本集群基于：VMware Workstation12 ProSecureCRT 7.3Xftp 5CentOS-7-x86_64-Everything-1611.isohadoop-2.8.0.tar.gzjdk-8u121-linux-x64.tar.gz下面是我在使用Intellij IDEA调用JavaAPI创建预分区的时候遇到的问题，写下来，备忘 1.Pom.xml <?xml ve

2017-05-17 20:54:55 4848

原创 Python2.7<中文编码>

Python中默认的编码格式是 ASCII 格式，在没修改编码格式时无法正确打印汉字，在读取中文时会报错，需要在文件开头指明编码格式：# -*- coding: UTF-8 -*- 或者#coding=utf-8

2017-05-12 17:19:19 598

原创 Python<字典>

字典的每个键值(key=>value)对用冒号(:)分割，每个对之间用逗号(,)分割，整个字典包括在花括号({})中 ,格式如下所示： d = {key1 : value1, key2 : value2 }键必须是唯一的，但值则不必>>> diction={"a":2,"a":5}>>> diction{'a': 5}访问字典中的元素In [1]: dict = {'Alice': '

2017-05-12 17:11:57 492

原创 zookeeper<集群环境搭建>

本集群搭建基于CentOS-7-x86_64-Minimal-1611.isozookeeper-3.4.9.tar.gzSecureCRT 7.3Xftp 5第一步，通过Xftp 5上传zookeeper-3.4.9.tar.gz到集群中任意一台机器（master）第二步：解压并重命名为zookeepertar zxvf zookeeper-3.4.9.tar.gzmv zookeep

2017-05-12 13:25:57 590

原创 Flume<HDFS Sink参数配置>

Example for agent named a1:a1.channels = c1a1.sinks = k1a1.sinks.k1.type = hdfsa1.sinks.k1.channel = c1a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%Sa1.sinks.k1.hdfs.filePrefix = events-a

2017-05-07 12:57:06 971

原创 Flume<自定义Source和拦截器实现抓取异常多行日志>

假设现在有一个日志文件test.log,文件中的内容如下：现在的需求是需要将日志通过Flume收集上来，在HDFS进行分区，比如 2016-07-08/INFO 2016-07-08/DEBUG 2016-07-08/WARN 2016-07-08/ERROR方法一：自定义Source在GitHub上看到有人自定义了Source，其核心思想是：如果当前有两行记录，如果两行记录都是“正常”

2017-05-06 18:20:51 4607 8

原创 Hadoop<集群搭建Centos7.3+Hadoop2.8.0>

本集群搭建于以下软件：VMware Workstation12 ProSecureCRT 7.3Xftp 5CentOS-7-x86_64-Everything-1611.isohadoop-2.8.0.tar.gzjdk-8u121-linux-x64.tar.gz这里的集群是 192.168.195.132 Master、Namenode、SecondNameNode、DataNode 19

2017-05-01 14:34:54 6316