2016年09月_小努蛋

12月 11月 10月 09月 08月 07月

原创关于centos6.7上安装mysql出现的异常

1.下载以下安装包：2.先安装perl*rpm -ivh perl*3.安装mysql服务rpm -ivh MySQL-server-5.5.48-1.linux2.6.x86_64.rpm可能报下面异常：第一种：[root@mini04 apps]# rpm -ivh MySQL-server-5.5.48-1.linux2.6.x86_64.rpm

2016-09-26 17:48:26 592

原创 zookeeper 集群安装详细

zookeeper 集群机制半数机制：集群中半数以上机器存活，集群可用zookeeper适合装在奇数台机器上安装说明：1.安装jdk（jdk要求1.8.20或1.7.55以上）2.下载并上传zookeeper安装包3.解压zookeepertar -zxvf zookeeper.tar.gz -C /bigdata/4.修改环

2016-09-22 17:50:40 438

原创 kafka集群安装详细说明

1.先安装好zookeeper集群2.下载好kafka安装包3.解压安装包tar -zxvf kafka_2.11-0.8.2.2.tgz -C /4.修改配置文件config/server.properties内容如下：———————————————————————————————————————————————————————————

2016-09-22 17:48:09 351

原创 logstash-out-hdfs

logstash从kafka拉取数据，并插入到hdfs中配置文件如下：input { kafka { type => "test" auto_offset_reset => "smallest" group_id => "mon2" topic_id => "db100" zk_connect => "192.168.199.6:21

2016-09-22 17:42:02 2955

原创 logstash-out-elasticsearch 设置geo_point格式

此项目是logstash从kafka拉取数据，并取到elastisearch.并进行格式处理。保存geo_point类型，可以进行空间数据查询配置文件如下：es.confinput { kafka { type => "test" auto_offset_reset => "smallest" group_id => "mon9"

2016-09-22 17:24:14 3844

原创 kafka的测试用例

环境(maven管理)dependency> groupId>org.apache.kafkagroupId> artifactId>kafka_2.8.2artifactId> version>0.8.1version>dependency>生产者：import kafka.javaapi.producer.Producer;import

2016-09-21 15:21:28 2145

原创 spark streaming + hbase

实时项目，从kafka拉取数据，存到hbase中环境(maven):dependency> groupId>org.scala-langgroupId> artifactId>scala-libraryartifactId> version>2.10.4version>dependency>dependency> groupId>org.apach

2016-09-21 14:50:18 2024

原创 spark streaming + redis(geo)

项目支持实时，主要实时把数据存到redis中，并可以进行geo查询环境（maven管理）：dependency> groupId>org.scala-langgroupId> artifactId>scala-libraryartifactId> version>2.10.6version>dependency>dependency> groupI

2016-09-21 14:42:46 953

原创 spark streaming+mongodb(geo)

项目主要做实时，从kafka拉数据进行清洗保存到mongodb（注意：mongodb的save方法是根据_id替换整个事件）环境（maven管理）：dependency> groupId>org.scala-langgroupId> artifactId>scala-libraryartifactId> version>2.10.6version>depen

2016-09-21 14:29:11 3026

原创关于linux上的mysql异常：Starting MySQL. ERROR! The server quit without updating PID file ……

环境：centos+mysql5.5启动报异常：[root@shizhanmini init.d]# /etc/init.d/mysql startStarting MySQL. ERROR! The server quit without updating PID file (/var/lib/mysql/shizhanmini.pid).查看错误日志（(/var/lib/m

2016-09-21 10:12:19 813

原创 java调用hbase接口方法

使用maven+idea进行管理mavendependency> groupId>log4jgroupId> artifactId>log4jartifactId> version>1.2.17version>dependency>dependency> groupId>org.apache.hbasegroupId> artifactId>hbase

2016-09-20 11:06:27 2401

原创 hbase+flume+hdfs整合

软件包：hbase-0.98.22apache-flume-1.6.0hadoop-2.6.11.jdk,zookeeper必须事先装好2.保证hadoop集群和zookeeper集群正常运行3.才可以启动hbase详细操作如下：1. 上传首先确保用户是hadoop，用工具将hbase安装包hbase-0.99.2-bin.tar.gz上传

2016-09-18 17:05:12 2222

原创关于logstash-out-mongodb插件说明

从kafka获取数据，存到mongodb中。适合空间查询geo_point设置。配置文件如下：input { kafka { type => "test" auto_offset_reset => "smallest" group_id => "m2" topic_id => "db100" zk_connect => "192.168.

2016-09-13 17:17:35 3166