- 博客(6)
- 收藏
- 关注
RSS订阅原创 windows下eclipse连接远程hadoop集群的开发配置
1，百度下载eclipse插件hadoop-eclipse-plugin-2.7.3.jar，放入eclipse安装目录下的plugins下，重启eclipse2，配置hadoop在windows下的安装目录windows-->preference-->Hadoop Map/Reduce3,windows-->showview-->others-->Map/Reduc...
2018-03-16 16:20:17
2592
1
原创 hbase-1.2.6安装部署
1，前言：hbase 是hadoop database的缩写，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。2，安装2.1，hbase官网下载安装包,根据官方建议，使用stable版本2.2，新建hbase安装目录，解压安装包到当前目录mkdir -p /opt/hbasechown hadoop:hadoopG...
2018-03-14 19:43:23
1568
原创 Hive2.x环境搭建
与 Hadoop 类似，Hive 也有 3 种运行模式： 1. 内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。 2. 本地模式 这种模式是将元数据保存在本地独立的数据库中（一般是 MySQL），这用...
2018-03-13 14:45:41
572
原创 hadoop集群搭建
最近为了解决30亿+清单级数据的查询工作，尝试用presto解决。方案1：采用deepgreen, 优化表分布，建立索引方案2：采用hadoop+presto回顾一下hadoop集群的搭建过程：1.1，准备机器10.1.240.183 base018310.1.240.184 base018410.1.240.185 base018510.1.240.186 base018...
2018-03-12 13:04:11
330
原创 oracle数据导出工具sqluldr2安装及使用
sqluldr2是一款Oracle数据快速导出工具，包含32、64位程序，sqluldr2在大数据量导出方面速度超快，能导出亿级数据为excel文件，另外它的导入速度也是非常快速，功能是将数据以TXT/CSV等格式导出1，下载sqluldr2,选择linux64位版本https://pan.baidu.com/s/1JCH8Rn-aCFyqEyouXE0k7Q2,将sqluldr2_linux64...
2018-03-07 17:33:34
6860
原创 linux下快速安装oracle客户端
1，首先Oracle官网下载安装包： http://www.oracle.com/technetwork/database/features/instant-client/index-097480.html根据访问数据的版本下载对应客户端。每种包又分.zip、.rpm两种格式包，zip包相当于解压后免安装版，rpm包需要安装版。2，安装解压缩到/usr/local/oracleunzip inst...
2018-03-07 15:18:49
37858
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人