hadoop
关注
分享
扫一扫
vitaair
这个作者很懒，什么都没留下…
展开
-
Hadoop2.7.2集群搭建详解（三台）
如果你还没有虚拟机，请参考：http://www.linuxidc.com/Linux/2017-03/141646.htm如果你还没有试过单机模式，请参考：http://www.linuxidc.com/Linux/2017-03/142050.htm参考：http://Hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-commo...转载 2018-04-02 16:11:29 · 725 阅读 · 0 评论 -
使用Sqoop将数据在HDFS与MySQL互导
1.去官网下载sqoop，直接百度即可2.解压后进入conf目录[plain] view plain copyguo@drguo1:/opt/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf$ cp sqoop-env-template.sh sqoop-env.sh 3.在sqoop-env.sh添加各种home[plain] view plain copy#S...转载 2018-05-28 10:31:39 · 383 阅读 · 0 评论 -
Sqoop-1.4.6安装配置及Mysql->HDFS->Hive数据导入（基于Hadoop2.7.3）
阅读数：1434写在前面本博客基于的环境如下： OS版本： Ubuntu16.04 Hadoop版本： Hadoop-2.7.3 Hbase版本： Hbase-1.3.1 Hive版本： Hive-2.1.1 Pig版本： Pig-0.16.0 Zookeeper版本： Zookeeper-3.4.9 Sqoop版本： Sqoop-1.4.6一、Sqoop安装1、下载下载地址： http://mi...转载 2018-05-28 10:26:49 · 656 阅读 · 0 评论 -
Sqoop-1.4.6安装配置及Mysql->HDFS->Hive数据导入（基于Hadoop2.7.3）
写在前面本博客基于的环境如下： OS版本： Ubuntu16.04 Hadoop版本： Hadoop-2.7.3 Hbase版本： Hbase-1.3.1 Hive版本： Hive-2.1.1 Pig版本： Pig-0.16.0 Zookeeper版本： Zookeeper-3.4.9 Sqoop版本： Sqoop-1.4.6一、Sqoop安装1、下载下载地址： http://mirror.bit...转载 2018-05-25 18:22:01 · 322 阅读 · 0 评论 -
Windows下使用Hadoop2.6.0-eclipse-plugin插件
摘要: 经历过痛苦的过程，在windows下终于可以使用eclipse的hadoop2.6.0插件进行远程调试Mapreduce了，本文大部分内容是摘自其余的博客，但是后续也有补充完整自己在整个过程中遇到的其余问题，希望本文能够比较完善的解决hadoop2.6.0在eclipse运行的问题。本人没有经过重新编译，都是在网上找的现成的，但是也把编译过程整理在这里。首先说一下本人的环境:Windows...转载 2018-05-25 14:42:34 · 4222 阅读 · 0 评论 -
实时分析
实时分析 1.kafka中创建主题 2.storm从kafka中消费数据 storm提供了storm从kafka消费数据的jar包 storm开发包 kafka开发包 storm连接kafka的开发包 其他包 **注意可能要删除重复的log4j相关的包 导入相关jar包 按照文档编写代码即可实现storm从kafka消费数据 方式一：可以自己开发spout利用kafk...原创 2018-05-07 07:23:57 · 1274 阅读 · 0 评论 -
离线数据分析
离线数据分析 1.hive创建外部分区表管理数据 hdfs有数据了 在hive中创建外部表来关联数据 进行数据的清洗 处理 在hive中创建外部分区表 管理数据 EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。...原创 2018-05-07 07:16:43 · 1779 阅读 · 0 评论 -
flume收集日志
flume收集日志 #flume测试代码 #配置Agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #配置source a1.sources.r1.type = avro a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 44444 a1.sources.r1.intercep...原创 2018-05-07 07:14:59 · 257 阅读 · 0 评论 -
日志服务器应用开发
日志服务器应用开发 在日志服务器中整理日志信息 利用Log4j输出 方式1： 日志服务器将日志生成到文件中 flume来获取文件中的日志信息 优点： 数据先落地一次 所以即使出现意外情况 仍然可以从文件中恢复之前的日志 缺点： 数据落地 扫描都需要时间 对实时性有一定影响 坑： log4j需要不停写入数据 而spooldirsource 要求观察的目录 不能出现重名文件 及...原创 2018-05-07 07:14:01 · 423 阅读 · 0 评论 -
hive环境搭建
一、 Hive搭建wget http://mirror.bit.edu.cn/apache/hive/stable/hive-0.10.0-bin.tar.gzHive搭建在Hadoop的基础之上，相对就会简单很多。只需要设置Hadoop的HADOOP_HOME和HIVE_HOME即可了。首先下载、解压，此操作与商品Hadoop的操作一样。值得注意的是，Apache的官网上会提供bin和de...转载 2018-04-03 08:35:15 · 148 阅读 · 0 评论 -
Hadoop+Hive环境搭建
1 准备工作1.1 软件准备Hive需要Hadoop的支持，在安装Hive之前需要正确安装Hadoop。目前Hive的最新版本为0.13.1，这个版本可在Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y下使用。本文采用Hadoop 1.x中最新版本1.2.1。Hadoop使用环境中必须由JDK，本文下载JDK 7较新版本。同时,Hive将采用MySQL作为元数据库。软件清...转载 2018-04-03 08:34:33 · 2513 阅读 · 0 评论 -
搭建hive1.2.1图形界面
解压，cd apache-hive-1.2.1-src/hwi 命令：jar cfM hive-hwi-1.2.0.war -C web . 复制：hive-1.2.1/libhive-1.2.1/conf/hive-site.xml添加： <property> <name>hive.hwi.listen.host</name> ...转载 2018-04-03 08:33:17 · 343 阅读 · 0 评论 -
hadoop集群配置之hive1.2.0安装部署（远程mysql）
hive下载地址 http://archive.apache.org/dist/hive/hive-1.2.1/hadoop的版本是2.6.0根据hive的源数据不同分为三种模式 1、内嵌模式，使用自带的derby 2、本地独立模式，本地mysql库 3、远程模式，远程mysql库这里主要将第三种模式#假设hadoop2.6.0已经正常启动首先下载hive-1.2.0版本，下载地...转载 2018-04-03 08:32:31 · 401 阅读 · 0 评论 -
Centos6.5搭建Hadoop2.5.2伪分布模式
Hadoop伪分布模式：在单节点上同时启动NameNode、DataNode、JobTracker、TaskTracker、Secondary Namenode等5个进程，模拟分布式运行的各个节点； 1、Hadoop搭建环境：虚拟机操作系统： CentOS6.5 64位，单核，1G内存JDK：1.7.0_79 64位Hadoop：2.5.2 2、本地环境：IP:10.0.10.50 2.1 设置...转载 2018-04-11 11:22:20 · 480 阅读 · 0 评论 -
windows远程调试hadoop权限问题
阅读数：2376为了开发方便想要直接在windows下开发，遇到了访问权限的问题。于是搜索了下解决方案，大约有两种1 不检查用户权限 修改conf/core-site.xml，不检查权限 将 dfs.permissions属性修改为false这种办法过于粗暴，仅仅开发环境可以使用。说以需要采用别的方法。2 修改用户权限这种方法文雅了很多，而且更加安全。我们观察hadoop hdfs中的文件发现了这...转载 2018-05-24 08:54:12 · 475 阅读 · 0 评论