Hadoop
nana-li
越努力,越幸运!
展开
-
Hadoop完全分布式集群安装及配置(基于虚拟机)
写在前面因为之前Hadoop伪分布式的安装(参见:Hadoop安装以及伪分布模式搭建过程)是在VirtualBox上安装了Ubuntu虚拟机,所以这次在开始的时候也是在VirtualBox上安装了3个Ubuntu虚拟机,但是3个虚拟机打开之后发现3者的IP地址是一样的(通过ifconfig命令查看IP地址),我尝试着通过设置静态IP、更改网络模式等方法都没有成功,不能够做到3个虚拟机之间互联。所以这原创 2017-07-04 21:20:25 · 19824 阅读 · 11 评论 -
Zookeeper3.4.9、Hbase1.3.1、Pig0.16.0安装及配置(基于Hadoop2.7.3集群)
一、Hadoop集群环境安装配置详见:Hadoop完全分布式集群安装及配置(基于虚拟机) Ubuntu镜像版本: ubuntu-16.04.2-server-amd64.iso JDK版本: jdk1.8 hadoop版本: hadoop-2.7.3 启动集群,进行下面Zookeeper3.4.9、Hbase1.3.1安装及配置。 Hadoop版本对应可用的Hbase版本参见: h...原创 2017-07-12 20:24:44 · 5738 阅读 · 1 评论 -
使用sqoop导入导出mysql、hdfs、hive出现的问题
问题1:java.lang.ClassNotFoundException: Class widgets not found执行的命令:sqoop import --connect jdbc:mysql://localhost:3306/hadoopguide --username root --password root --table widgets //其中,hadoopguide是数据库名称原创 2017-07-15 15:06:58 · 7327 阅读 · 4 评论 -
Sqoop-1.4.6安装配置及Mysql->HDFS->Hive数据导入(基于Hadoop2.7.3)
写在前面本博客基于的环境如下: OS版本: Ubuntu16.04 Hadoop版本: Hadoop-2.7.3 Hbase版本: Hbase-1.3.1 Hive版本: Hive-2.1.1 Pig版本: Pig-0.16.0 Zookeeper版本: Zookeeper-3.4.9 Sqoop版本: Sqoop-1.4.6一、Sqoop安装1、下载下载地址: ht...原创 2017-07-15 18:29:36 · 5503 阅读 · 3 评论 -
Hadoop安装以及伪分布模式搭建过程
一、前提(1)环境:Ubuntu 16.04 (2)需要软件:JDK 1.8 和 Hadoop-2.8.0二、安装JDK安装的详细过程参见博文:博文链接三、安装Hadoop下载地址:http://hadoop.apache.org/releases.html我选的是hadoop 2.8.0,选择binary版本。(source是源码,如果在工作中需要修改源码之后再运行,则可以选择source),如原创 2017-04-14 23:02:06 · 2470 阅读 · 0 评论 -
Scala-2.12.2和Spark-2.1.0安装配置(基于Hadoop2.7.3集群)
Hadoop集群环境安装配置详见: Hadoop完全分布式集群安装及配置(基于虚拟机) Ubuntu镜像版本: ubuntu-16.04.2-server-amd64.iso JDK版本: jdk1.8 Hadoop版本: hadoop-2.7.3已安装的Hadoop集群中主机名和对应的IP如下: 主机名 IP hadoop2m(master) 192.168.163.13原创 2017-07-21 10:06:28 · 3592 阅读 · 2 评论 -
Hive:使用beeline连接和在eclispe中连接
在mysql5.7.18安装、Hive2.1.1安装和配置(基于Hadoop2.7.3集群)中,已经讲到了mysql和hive的安装和配置。本篇博客第一部分讲的是使用beeline连接hive的方法,第二部分讲的是在eclipse中远程连接hive。准备工作1、启动hadoop服务 2、启动mysql服务使用beeline连接1、启动hiveserver2服务在根目录下, 使用下面的命令启动hiv原创 2017-07-17 16:23:55 · 3174 阅读 · 0 评论 -
Hive启动提示端口10000被占用:SelectChannelConnector@0.0.0.0:10000: java.net.BindException
问题描述: 在使用hive --service hiveserver2启动hiveserver2服务的时候,提示SelectChannelConnector@0.0.0.0:10000: java.net.BindException。 问题原因: 在之前已经使用这个命令启动过一次,但是由于没有启动成功,我直接用Ctrl+Z把进程终止了,再次启动,所以会提示端口被占用的情况。 解决方案: 使原创 2017-07-17 15:46:44 · 3366 阅读 · 0 评论 -
mysql5.7.18安装、Hive2.1.1安装和配置(基于Hadoop2.7.3集群)
注: Hive的安装对我来说比较曲折的,因为在使用hive命令测试的时候,没有发现什么问题,但是后来使用beeline连接,问题越来越多,由于自身解决能力太差,每个问题都花了好久,其中一部分问题是数据库的初始化问题,还有一部分是数据库的权限问题。因为命令行给出的错误提示比较少,要学会借助log信息查找方案,log信息默认在/tmp/${user.name}/hive.log中。一、Hadoop...原创 2017-07-13 21:47:40 · 4178 阅读 · 2 评论 -
hiveserver2启动:javax.jdo.JDODataStoreException: Error executing SQL query "select "DB_ID" from "DBS""
原文链接:http://www.cnblogs.com/zwgblog/p/6063993.html启动hive-metastore和hive-server2 用beeline连接hive报错12345678[root@node04 hive]# beelineBee转载 2017-07-16 19:20:02 · 10382 阅读 · 0 评论 -
Hadoop完全分布式在实际中优化方案
步骤 优化方案 配置hosts文件 用DNS代替hosts文件,可使用bind工具 建立hadoop运行账号 centered 配置ssh免密码连入 利用NFS实现秘钥共享 下载并解压hadoop安装包 配置namenode,修改site文件 配置hadoop-env.sh 配置masters和slaves文件 只需要在maste原创 2017-07-15 22:41:41 · 595 阅读 · 0 评论 -
使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地)
在之前一篇:Eclipse中使用Hadoop单机模式开发配置及简单程序示例,我们讲了如何在eclipse配置文件信息以及如何执行Map/Reduce程序,本篇基于这篇文章的代码总结一下使用hadoop命令行执行jar包的流程,主要包括生成jar、将本地文件上传至dfs文件系统中,执行jar包。一、Eclipse中生成jar包使用Eclipse中使用Hadoop单机模式开发配置及简单程序示例 的Max原创 2017-07-01 11:01:43 · 60630 阅读 · 2 评论 -
Eclipse中使用Hadoop伪分布模式开发配置及简单程序示例(Linux下)
一、JDK安装、Hadoop的安装及单机模式配置具体参见博客:Hadoop安装以及伪分布模式搭建过程 本篇博客的OS版本及软件版本均与上述版本一致。 已安装好的JDK目录:/opt/Java/jdk1.8 已安装好的Hadoop目录:/opt/Hadoop/hadoop-2.8.0二、Eclipse安装下载linux版的eclipse(eclipse-jee-oxygen-R-linux-gt原创 2017-06-30 18:36:18 · 5376 阅读 · 2 评论 -
Eclipse中使用Hadoop集群模式开发配置及简单程序示例(Windows下)
一、JDK安装、Hadoop的安装及集群模式配置(Linux虚拟机上集群的安装配置)具体详见博客:Hadoop完全分布式集群安装及配置(基于虚拟机) 由于在使用hadoop-2.8.0配置的时候,hdfs总是出现错误,使用了各种方法也没能解决,所以这里使用hadoop-2.7.3二、Eclipse、Hadoop安装(Win下)1、Eclipse使用的是eclipse-jee-neon-3-win3原创 2017-07-10 20:42:18 · 3448 阅读 · 0 评论 -
win下Eclipse远程连接Hbase的配置及程序示例(create、insert、get、delete)
Hadoop入门配置系列博客目录一览1、Eclipse中使用Hadoop伪分布模式开发配置及简单程序示例(Linux下)2、使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地)3、Hadoop完全分布式集群安装及配置(基于虚拟机)4、Eclipse中使用Hadoop集群模式开发配置及简单程序示例(Windows下)5、Zook...原创 2017-08-21 10:24:31 · 2466 阅读 · 4 评论