- 博客(5)
- 收藏
- 关注
RSS订阅原创 在windows环境中开发hadoop程序
在工作中，我们常常需要在Windows环境中开发Hadoop程序，比如使用eclipse开发MapReduce的程序等。为了方便程序的运行差错，除了程序中需要添加Hadoop的相关jar包外，还需要配置windows的本地环境。将Hadoop解压到Windows目录下：D:\software\hadoop-2.9.0注意：如果下载的Hadoop是Linux版的，那么D:\softwar...
2018-10-30 16:04:23
610
原创 hive------设计原则
1 使用分区管理HDFS文件分区避免查询数据进行HDFS全盘扫描，一个表分区数量不要太多（导致每一个分区创建一个task，每一个task是一个jvm实例），没个分区中的文件尽量大（与HDFS数据块保持一致，默认128M）2 hive反标准化传统的RDBMS有标准化，例如唯一键、主键等；hive没有主键、唯一键的概念，目标优化磁盘驱动的IO性能3 hive允许从一个表中同时向多张...
2018-10-08 23:40:27
1192
转载 数据库中导出数据到HDFS
使用sqoopsqoop import -m 1 --------m 1 使用一个MapReduce，默认4个。--connect jdbc:mysql://主机IP:3306/数据库名 --username 用户名--password 用户密码 --table 表名--columns "name,age"--where "age>18"--target-di...
2018-10-08 19:55:51
945
原创 HBase安装
HBase是一个分布式的、面向列的开源数据库：它是一个结构化数据的分布式存储系统”。HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。是nosql数据库前置环境：jdk，Hadoop，zookeeper...
2018-10-08 17:09:20
141
原创 sqoop安装
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。前置环境：jdk，Hadoop，mysql，hbase，hive，zookeeper安装...
2018-10-08 17:09:17
156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人