大数据从无到有系列
文章平均质量分 57
风中追风风
博客内容只做个人笔记,博客时间不代表实践时间,内容仅供参考,我1925432244,nifi大师群:492666008
展开
-
从无到有系列之zookeeper-安装部署01
环境前提:首先需要3台bridge模式的vm机器,当然有某云的服务器更好,并且彼此通讯畅通。1.在zookeeper官网推荐的镜像下载zookeeper的tar包,本文下载的是3.4.6版本,下载地址:http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/2.修改zookeeper的输出文件存放目录,本文是在/var/zo原创 2016-03-31 19:08:32 · 1008 阅读 · 0 评论 -
从无到有系列之Hive-jdbc测试操作hive03
在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口。使用下面命令进行开启:hive -service hiveserver &1). 测试数据userinfo.txt文件内容(每行数据之间用tab键隔开):1 xiapi2 xiaoxue3 qingqing2). 程序代码package com.l转载 2016-03-31 15:35:51 · 2260 阅读 · 0 评论 -
从无到有系列之Hive-hive全实战hive05
文章出处:http://blog.csdn.net/sdksdk0/article/details/51675005作者: 朱培 ID:sdksdk0Hive环境的搭建在这里也不重复说了,安装配置可以查看我的这篇文章:http://blog.csdn.net/sdksdk0/article/details/51512031。在这里主要是分享一下HQL语句实践及转载 2016-11-22 17:51:13 · 1691 阅读 · 0 评论 -
从无到有系列之kafka安装部署01
安装Kafka 1. 下载kafka安装包,访问Kafka官网下载对应版本即可。这里使用的版本为2.9.2-0.8.1.1。 2. 使用下面的命令解压安装包1tar -zxvf kafka_2.9.2-0.8.1.1.tgz 3. 修改配置文件,简单配置只需要修改/config/serv转载 2016-11-18 11:39:11 · 574 阅读 · 0 评论 -
从无到有系列之kafka生产消费者demo02
(使用maven构建项目)POM.xml:加入: org.apache.kafka kafka_2.10 0.8.2.0 生产者:package MavenDemo.Mdemo;import java.util.Properties; import java.util.concurrent.T转载 2016-12-06 12:19:20 · 466 阅读 · 0 评论 -
从无到有系列之storm-windows下demo运行02
转载自http://www.cnblogs.com/tovin/p/3971113.html 本文以一个简单的example来讲解如何开发storm应用程序1、创建maven工程 在eclipse下创建maven工程,可以参照http://www.cnblogs.com/tovin/p/3822985.html 2、修改pom.xm添加依赖包 使用maven转载 2016-12-06 15:05:03 · 1339 阅读 · 0 评论 -
从无到有系列之flume-kafka整合01
一、服务器配置版本介绍:apache-flume-1.6.0-bin + kafka_2.9.2-0.8.2.2集群说明:192.168.10.66 broker、consumer、zookeeper 、flume192.168.10.67 broker、zookeeper192.168.10.68 broker、zookeeper二、分原创 2016-12-08 14:42:21 · 520 阅读 · 0 评论 -
从无到有系列之flume的source-channel-sink汇总03
原文转载至:http://abloz.com/2013/02/26/flume-channel-source-sink-summary.htmlComponent TypeDescriptionImplementation ClassChannelmemoryIn-memory, fast, non转载 2016-12-08 15:21:10 · 659 阅读 · 0 评论 -
从无到有系列之HBase-安装部署01
hbase安装相对简单,就是把其整合hadoop 1.解压tar -zxvf hbase-1.0.0-bin.tar.gzsudo mv hbase-1.0.0 /opt/hbasecd /optsudo chmod -R 775 hbasesudo chown -R hadoop:hadoop: hbase2.修改环境变量 sudo vim /opt/hbase/conf转载 2016-09-08 17:48:26 · 511 阅读 · 0 评论 -
从无到有系列之Hive-内建操作符及函数开发hive04
第一部分:关系运算Hive支持的关系运算符•常见的关系运算符 •等值比较: = •不等值比较: •小于比较: •小于等于比较: •大于比较: > •大于等于比较: >= •空值判断: IS NULL •非空判断: IS NOT NULL •LIKE比较: LIKE •JAVA的LIKE操转载 2016-11-22 14:44:14 · 330 阅读 · 0 评论 -
从无到有系列之Hive-入门操作及简单应用02
本文是给有一定linux基础的童鞋看的,如果读者是完全没有基础的话,建议转参考别的文章。1.首先我们创建一个普通的文本文件,里面只有一行数据,该行也只存储一个字符串,命令如下:echo ‘wangjian’ > /home/hadoop/test.txt2.然后我们建一张hive的表:hive –e “create table test (valuestrin原创 2016-03-31 12:00:52 · 480 阅读 · 0 评论 -
从无到有系列之HBase-入门操作02
一般操作查看服务器状态status查看hbase版本version DDL操作创建表create 'member','member_id','address','info'创建了3个列族,分别是member_id, address, info查看表信息describe 'member'DESCRIPTION转载 2016-09-08 17:43:13 · 356 阅读 · 0 评论 -
从无到有系列之zeepelin-安装部署01
转载至:https://www.iteblog.com/archives/1573转载 2016-10-20 11:45:59 · 761 阅读 · 0 评论 -
从无到有系列之zeepelin-小试牛刀02
原文转载至:https://blog.sectong.com/blog/zeppelin_mysql.html转载 2016-10-20 17:58:58 · 722 阅读 · 0 评论 -
从无到有系列之spark-安装部署01
Spark 1.6.1分布式集群环境搭建一、软件准备scala-2.11.8.tgzspark-1.6.1-bin-hadoop2.6.tgz二、Scala 安装1、master 机器(1)下载 scala-2.11.8.tgz, 解压到 /opt 目录下,即: /opt/scala-2.11.8。(2)修改 scala-2.11.8 目录所属用户和用户组。转载 2016-10-19 17:01:01 · 497 阅读 · 0 评论 -
从无到有系列之storm-安装部署01
Storm集群的安装分为以下几步: 1、首先保证Zookeeper集群服务的正常运行以及必要组件的正确安装 2、释放压缩包 3、修改storm.yaml添加集群配置信息 4、使用storm脚本启动相应服务并查看服务状态 5、通过web查看storm集群的状态 安装Storm之前首先保证之前安装的Zookeeper服务正常运行(可以参照本系列的zookeep转载 2016-09-14 15:56:33 · 391 阅读 · 0 评论 -
从无到有系列之flume-安装部署01
1.下载flume并解压: wget 命令下载wget http://www.apache.org/dyn/closer.cgi/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz手动下载: http://flume.apache.org/download.html2.解压:tar zxf apache-flume-1.6.0转载 2016-11-17 17:29:05 · 363 阅读 · 0 评论 -
从无到有系列之flume-收集日志到hdfs02
1.向agent发送数据,并将数据输出至hdfs中在$FLUME_HOME/conf目录下修改flume-conf.properties.template文件,复制并改名为flumetest2 a1.sources= r1a1.sinks= k1a1.channels= c1a1.sources.r1.type= execa1.sources.r1.转载 2016-11-17 18:07:19 · 527 阅读 · 0 评论 -
史上最全的“大数据”学习资源整理
当前,整个互联网正在从IT时代向DT时代演进,大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义,它更代表着信息技术发展进入了一个新的时代,代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难,代表着大数据处理所需的新的技术和方法,也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。为了帮助大家更好深入了解大数据,云转载 2016-05-23 15:59:52 · 3244 阅读 · 0 评论 -
从无到有系列之Hive-安装部署01
本文是给有一定linux基础的童鞋看的,如果读者是完全没有基础的话,建议转参考别的文章。1.从官方网址随便找一个镜像地址下载hive的可执行包,及bin包,本文下载的是1.2.1的stable版本,链接地址:http://apache.opencas.org/hive/stable/2.以hive用户登录,并下载,或者需要root用户去赋予操作hive目录的权限3.首先需要hado原创 2016-03-30 16:25:10 · 377 阅读 · 0 评论 -
How to add the patch in apache community?
1、开发环境准备:要对apache hadoop 源码进行开发,首先需要搭建本地hadoop源码开发环境。本地Linux系统需要安装JDK1.8, maven,ProtocolBuffer2.5.0,git以及一些Nativelib包(libtool cmake zlib1g-devpkg-config libssl-dev等),这样才能成功编译hadoop源码。对于RHE转载 2017-04-14 15:39:56 · 610 阅读 · 0 评论