![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 89
言蹊
这个作者很懒,什么都没留下…
展开
-
hadoop文件上传,下载
上一节我们搭建好了集群,数据从哪里来呢。通常经过是通过etl工具,如kettle,informatica等将其他系统的数据抽取成文件,然后再利用脚本调用hdfs的命令导入进hdfs集群。还有一种方式是通过通用组件如sqoop等,今天先讲第一种方式。HDFS 常用命令在 Linux 命令行终端,可以使用命令行工具对 HDFS 进行操作。使用这些命令行可以完成 HDFS 文件的上...原创 2020-03-02 14:28:43 · 4692 阅读 · 0 评论 -
hadoop系列——hadoop集群动态扩容、缩容
动态扩容,顾名思义,就是通过增加节点实现集群服务能力的提升。是hadoop,或者说分布式集群的特性之一;同理,部分节点可能老化,升级换代,节点需要对应的下线处理。今天就分别介绍这两部分操作:1,动态扩容1.1,在新增节点配置环境,可以参考Hadoop集群的搭建 里如何配置节点,步骤都是一样的,不在赘述。1.2,在主节点修改hosts文件,增加新增节点[hadoop@serve...原创 2020-03-02 10:25:14 · 3220 阅读 · 1 评论 -
Elasticsearch系列——(2.1)Elasticsearch5.6.8 安装部署
1,官网下载安装 https://www.elastic.co/cn/ 官方中文指导文档https://www.elastic.co/guide/cn/elasticsearch/guide/current/running-elasticsearch.html 2,es特点:无需配置,开箱即用./bin/elasticsearch如果你想把 Elasticsearch ...原创 2018-05-14 11:01:28 · 3594 阅读 · 0 评论 -
Hive2.x环境搭建
与 Hadoop 类似,Hive 也有 3 种运行模式: 1. 内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中,这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显,因为一个内嵌的 Derby 数据库每次只能访问一个数据文件,这也就意味着它不支持多会话连接。 2. 本地模式 这种模式是将元数据保存在本地独立的数据库中(一般是 MySQL),这用...原创 2018-03-13 14:45:41 · 554 阅读 · 0 评论 -
hadoop集群搭建
最近为了解决30亿+清单级数据的查询工作,尝试用presto解决。方案1:采用deepgreen, 优化表分布,建立索引方案2:采用hadoop+presto回顾一下hadoop集群的搭建过程:1.1,准备机器10.1.240.183 base018310.1.240.184 base018410.1.240.185 base018510.1.240.186 base018...原创 2018-03-12 13:04:11 · 324 阅读 · 0 评论 -
windows下eclipse连接远程hadoop集群的开发配置
1,百度下载eclipse插件hadoop-eclipse-plugin-2.7.3.jar,放入eclipse安装目录下的plugins下,重启eclipse2,配置hadoop在windows下的安装目录windows-->preference-->Hadoop Map/Reduce3,windows-->showview-->others-->Map/Reduc...原创 2018-03-16 16:20:17 · 2566 阅读 · 1 评论 -
hbase-1.2.6安装部署
1,前言:hbase 是hadoop database的缩写,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。2,安装2.1,hbase官网下载安装包,根据官方建议,使用stable版本2.2,新建hbase安装目录,解压安装包到当前目录mkdir -p /opt/hbasechown hadoop:hadoopG...原创 2018-03-14 19:43:23 · 1531 阅读 · 0 评论 -
oracle数据导出工具sqluldr2安装及使用
sqluldr2是一款Oracle数据快速导出工具,包含32、64位程序,sqluldr2在大数据量导出方面速度超快,能导出亿级数据为excel文件,另外它的导入速度也是非常快速,功能是将数据以TXT/CSV等格式导出1,下载sqluldr2,选择linux64位版本https://pan.baidu.com/s/1JCH8Rn-aCFyqEyouXE0k7Q2,将sqluldr2_linux64...原创 2018-03-07 17:33:34 · 6788 阅读 · 0 评论 -
linux下快速安装oracle客户端
1,首先Oracle官网下载安装包: http://www.oracle.com/technetwork/database/features/instant-client/index-097480.html根据访问数据的版本下载对应客户端。每种包又分.zip、.rpm两种格式包,zip包相当于解压后免安装版,rpm包需要安装版。2,安装解压缩到/usr/local/oracleunzip inst...原创 2018-03-07 15:18:49 · 37758 阅读 · 6 评论