大数据
大风起兮~
从事物联网领域的软件开发工作和管理
展开
-
hadoop的本地模式安装和简单示例
一:配置Java环境这里就不详细介绍了,网上有大把的教程 二:安装hadoophadoop下载地址:https://hadoop.apache.org/releases.html 解压hadoop# tar -zxvf hadoop-2.9.2.tar.gz 配置hadoop的环境变量:# vi /etc/profile在文件最后添加如下两行:ex...原创 2018-12-28 17:03:20 · 435 阅读 · 0 评论 -
Apache Avro入门实战
一、Avro简介 avro是一个数据序列化系统Avro是Hadoop中的一个子项目,也是Apache中一个独立的项目,Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统。Avro 可以将数据结构或对象转化成便于存储或传输的格式。Avro设...原创 2019-01-18 15:03:01 · 2313 阅读 · 0 评论 -
Zookeeper集群搭建实战
环境依赖:①使用centos7.5②使用如下三台服务器192.168.43.128,192.168.43.129和192.168.43.130 1、Zookeeper安装Zookeeper链接:http://zookeeper.apache.org/$ tar zxvf zookeeper-3.4.12.tar.gz -C /opt $ cd /opt &...原创 2019-01-21 15:09:34 · 170 阅读 · 0 评论 -
storm1.2.2集群搭建
storm集群搭建 1. 环境依赖storm1.2.2依赖java环境,需要使用zookeeper进行协调,所以请先安装jdk和搭建zookeeper集群环境。 2. 集群规划192.168.43.130部署zookeeper192.168.43.128部署nimbus和ui192.168.43.129部署supervisor192.168.43.131部...原创 2019-01-16 15:25:33 · 581 阅读 · 0 评论 -
Storm实战---提交topology到storm集群
一、storm常用命令 通过执行命令storm就可以列出storm的所有命令列表了。 jar命令负责把topolopy提交到集群,并执行它,通过StormSubmitter执行主类。storm jar path-to-topology-jar class-with-the-main arg1 arg2 argN path-to-topology-jar是拓扑jar文件的...原创 2019-01-16 15:29:29 · 1484 阅读 · 0 评论