hengHuo123456-CSDN博客

原创 spark straming时实处理

1.启动 nc -lk 9999 2.在spark安装目录下执行：./bin/run-example streaming.NetworkWordCount localhost 9999

2015-10-12 14:05:07 924

原创 spark maven编译

1.从官方网站下载http://mirrors.cnnic.cn/apache/spark/spark-1.5.1/spark-1.5.1.tgz下载下来2.tar -xzvf spark-1.5.1.tgz解压3.安装maven4.设置maven配置参数： export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCode

2015-10-12 14:01:42 427

原创 Hadoop 详细安装配置指南

1. 安装虚拟机和Linux。我们集群中准备3台机器：192.168.1.16Master192.168.1.17Slave1192.168.1.18Slave2可参考 http://blog.csdn.net/yg_it/article/details/254725232. 网络配置2.1 修改hostnamea): 执行命令hostname 查看机器名称。b

2015-09-28 14:00:30 416

原创 zookeeper完全分布式安装

1.概述操作系统为3台ubuntu虚拟机，其ip地址分别为ubuntu1 192.168.1.109ubuntu2 192.168.1.108ubuntu3 192.168.1.110jdk版本为jdk72.下载解压(三台机器都执行一遍) 2.1将zookeeper解压到/usr/local/zookeeper-3.4.5目录下 2.2以下命令都是

2015-09-28 13:56:41 467

原创 hive安装

1.hive的安装 (1)解压缩、重命名、设置环境变量 (2)在目录$HIVE_HOME/conf/下，执行命令mv hive-default.xml.template hive-site.xml重命名在目录$HIVE_HOME/conf/下，执行命令mv hive-env.sh.template hive-env.sh重命名 (3)修改hadoop的配置文件h

2015-09-28 13:56:05 376

原创 apache中国地址镜像文件下载地址

http://mirrors.cnnic.cn/apache/

2015-09-28 13:52:55 1504

转载 kafka+storm java代码

一、flume和kafka整合请参照 http://blog.csdn.net/huguoping830623/article/details/48138319二、示例[html] view plaincopypackage com.hgp.kafka.kafka; import java.util.Arra

2015-09-28 13:52:09 513

原创 liunx 定时器

crontab -e 命令: 执行文字编辑器来设定定时器，内定的文字编辑器是 VI，如果你想用别的文字编辑器，则请先设定 VISUAL 环境变数来指定使用那个文字编辑器定时器的格式如下基本格式 : *　　*　　*　　*　　*　　command 分　时　日　月　周　命令第1列表示分钟1～59 每分钟用*或者 */1表示第2列表示小时1～23（

2015-09-28 13:50:58 355

原创 protobuf-2.5.0安装

1.下载 hadoop使用protocol buffer进行通信，需要下载和安装 protobuf-2.5.0.tar.gz。由于现在 protobuf-2.5.0.tar.gz已经无法在官网 https://code.google.com/p/protobuf/downloads/list中下载了，本人将 protobuf-2.5.0.tar.gz上传到百度云盘供大家下载，地址

2015-09-28 13:49:52 787

转载 flume读取日志数据写入kafka

一、flume配置flume要求1.6以上版本flume-conf.properties文件配置内容，sinks的输出作为kafka的product[html] view plaincopya1.sources = r1 a1.sinks = k1 a1.channels = c1 # Descr

2015-09-28 13:49:07 896

原创 hive 远程debug

1、编译hive的源代码（mvn eclipse:eclipse）,把编译后的工程导入eclipse2、启动hive，命令hive --debug 。[root@hadoop2 ~]# hive --debugListening for transport dt_socket at address: 80003、在eclipse里面，打开Debug Configur

2015-09-28 13:47:10 1130