大数据
主要是关于Headoop,Hbase等
marklin
️ 90后程序员,后端码客
展开
-
Hadoop+Spark Windows系统环境搭建
Hadoop 环境变量配置:HADOOP_HOME:D:\ProgramData\BigData\Hadoop\hadoop-2.7.4Path:%HADOOP_HOME%\binSpark 环境变量配置:SPARK_HOME:D:\ProgramData\BigData\Spark\spark-2.2.0Path:%SPARK_HOME%\bin修改had原创 2017-08-27 02:18:01 · 1975 阅读 · 0 评论 -
Linux搭建Hadoop开发环境
Linux搭建Hadoop开发环境Hadoop环境搭建安装配置:[1].官网下载Hadoop-2.7.5安装包: hadoop-2.7.5/hadoop-2.7.5.tar.gz[2].把Hadoop-2.7.5安装包利用Xftp5工具上传到:/usr/local/hadoop[3].登录Liunx服务器,利用Xhell5进入:c...2018-03-31 01:47:04 · 130 阅读 · 0 评论 -
Linux搭建Hbase开发环境
Linux搭建Hbase环境:1.Hbase基本概念:HBase的基本概念和定位HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提...原创 2018-04-29 20:47:27 · 1066 阅读 · 0 评论 -
Linux搭建Flume开发环境
1.Linux搭建Flume环境2.官网下载Flume安装包:apache-flume-1.8.0-bin.tar.gz, 利用xftp5工具上传到:/usr/local/flume 3.利用xshell5工具登录到服务器解压flume,输入:cd /usr/local/flume[root@marklin ~]# cd /usr/local/flume...2018-04-29 20:53:22 · 569 阅读 · 0 评论 -
Linux搭建Sqoop开发环境
Linux搭建Sqoop开发环境1.SqoopSqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如:MySQL,Oracle到Hadoop的HDFS,并从Hadoop的文件系统导出数据到关系数据库。传统的应用管理系统,也就是与关系型数据库的使用RDBMS应用程序的交互,是产生大数据的来源之一。这样大的数据,由关系数据库生成的,存储在关系数...2018-04-29 20:53:51 · 238 阅读 · 0 评论 -
Linux搭建Hive开发环境
Linux搭建Hive开发环境1.HiveThe Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected on...2018-04-29 20:57:59 · 408 阅读 · 0 评论 -
Liunx搭建Spark开发环境
Liunx搭建Spark开发环境1.Spark 2.Spark开发环境搭建【1】Spark开发环境搭建需要Hadoop,Java,Scala环境的支持,由于本机已经默认安装Java 和Hadoop开发环境,这里也不再赘述【2】搭建Scala开发环境和SBT开发环境: (2.1)下载Scala和SBT安装包: Scala官网:http://www...2018-04-29 21:00:10 · 129 阅读 · 0 评论 -
Linux搭建Kafka开发环境
Linux搭建Kafka开发环境 Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,...2018-04-30 00:45:19 · 437 阅读 · 0 评论