- 博客(18)
- 收藏
- 关注
RSS订阅原创 hive的安装教程详解
安装部署1.安装及配置（1）把apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下（2）解压apache-hive-1.2.1-bin.tar.gz 到/opt/module/目录下面[qianfeng@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C...
2019-01-21 19:58:48
271
原创 You have an error in your SQL syntax; check the manual that corresponds to your MySQL server v错误解决方法
我这个错误是在hive中执行了一个SQL的脚本文件，但是脚本中的SQL语句有问题，执行后的结果跟我想要的不一样，于是我把SQL语句修改了以后再执行就出错了NestedThrowablesStackTrace:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL synta...
2019-01-09 19:46:13
976
原创 HUE与hadoop框架的集成使用
一、HUE与其他框架的集成1.1 hue与hdfs1.1.1 配置HDFS修改：hdfs-site.xml<property>dfs.webhdfs.enabled</property><value>true</value><description>Enable WebHDFS (REST API) in Namenodes ...
2018-12-26 10:34:08
499
原创 HUE的简介及安装
一、HUE简介HUE=HadoopUser Experience，直译就是hadoop用户体验。它是基于Python Web框架Django实现的。通过使用HUE我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。二、HUE的官网下载官网网站：http://gethue.com/ 三、HUE的安装安装hue依赖的LINUX的安装包安装命令：sudo yum -...
2018-12-26 10:17:03
426
原创 Unable to initialize MapOutputCollector错误解析
我们在运行MapReduce的时候，会报一个空指针的异常，后面的报错原因是下面一堆东西，其实很简单，是我们Driver端的Text的包导错了WARN org.apache.hadoop.mapred.MapTask.createSortingCollector() - Unable to initialize MapOutputCollector org.apache.hadoop.mapred...
2018-12-19 15:23:21
611
1
原创 Access denied for user 'root'@'mini01' (using password: YES)-oozie错误
错误一：出现在这个错误的原因是下面这条命令执行的路径错误：bin/oozie-setup.sh sharelib create -fs hdfs://mini01:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz注意：这条命令的执行路径应该是在oozie下面，不能擅自改成其他路径错误二：当我们在执行这个命令的时候会遇到如下错误...
2018-12-14 22:08:54
507
原创 克隆对象报错：The method clone() from the type Object is not visible
将一个对象复制一份，称为对象的克隆技术。在Object类汇总存在一个clone()方法：protected Onject clone() throws CloneNotSupportedException如果某各类的对象想被克隆，则对象所在的类必须实现Cloneable接口。此接口没有定义任何方法，是一个标记接口接下来我们看看具体代码实现：以下是正确的代码：//要实现Cloneabl...
2018-12-13 17:37:48
4245
原创 最详细的NGINX的安装操作
下载NGINX官方网站：http://nginx.org/使用的版本是1.8.0。如果之前安装过，可以先删除配置安装环境1.需要安装gcc的环境yum install gcc-c++2.第三方的开发包PCREPCRE(Perl Compatible Regular Expressions)是一个Perl库，包括 perl 兼容的正则表达式库。nginx的http模块使用pcr...
2018-12-04 19:26:15
116
原创 什么是NGINX
NGINX简介Nginx是一款高性能的http服务器/反向代理服务器和电子邮件代理服务器。是由俄罗斯的程序设计师所开发。官方测试NGINX能够支撑5万并发链接，并且CPU、内存等资源消耗非常低，运行非常稳定。应用场景1.http服务器。NGINX是一个http服务，可以独立提供http服务。可以做网页静态服务器2.虚拟主机。可以实现在一台服务器虚拟出多个网站。例如个人网站使用的虚拟主机3...
2018-12-04 17:42:20
116
原创 HBASE的简介和安装步骤
一、HBASE介绍1.1HBASE的起源Hbase的原型是Goole的三遍论文之一的BigTable论文，受到该论文思想的启发，目前作为hadoop的子项目来开发维护，用于支持结构化的数据存储官网：http://hbase.apache.org1.2HBASE的角色1.2.1 HMaster功能：1.监控RegionServer2.处理RegionServer故障转移3.处理元...
2018-12-03 20:31:38
173
原创 CSDN字体的大小和颜色的设置
目前csdn还没有出专业的设置字体大小和颜色的工具但是在编写CSDN的时候，我们可以使用HTML5中的一些标签<font color = blue size = 4>中间的颜色可以使用英语，也可以使用十六进制来设置，字体大小也可以根据自己的需要来设置欢迎大家补充评论...
2018-12-03 19:57:53
1716
1
原创 kafka介绍以及安装
kafka是什么？我们在学习一个东西之前，首先要知道它是什么，有什么用，怎么用，只有知道了这三点以后，我们学习起来目的性更强，学习的效果也会更好1.作用：在流式计算中，kafka用来缓存数据，storm通过消费kafka的数据进行计算2.kafka是一个分布式消息队列。kafka对消息保存时根据Topic（队列）进行归类，发送消息者称为Producer,消息接受者称为Consumer，也叫生...
2018-11-30 21:02:45
129
原创 Linux基础的压缩与解压缩命令
不同格式结尾的压缩文件解压的方式也是不一样的，使用命令需要根据你所解压的文件格式来选择后缀为gz 压缩： gzip 文件名称 gzip -r 文件夹名称 将文件夹中的文件进行压缩 解压： 解压1：gunzip FileName.gz 解压2：gzip -d FileName.gz 后缀为tartar命令 解...
2018-11-29 22:47:41
110
原创 Directory /metastore_db cannot be created.的修改
我们在启动hive的时候，有时候会报下面这个错误这是因为我们没有启动hive的相关任务，只要启动hive --service metastore &，当遇到这个错误的时候，只要启动这个服务，hive就可以正常启动...
2018-11-29 21:05:42
2871
原创 Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083.的修改
hive的正常运行需要我们先启动hive --service metastore &后台，因为hive需要使用元数据。所以在启动hive --service metastore &的时候如果报了下面这个错，请大家不要慌张，不要害怕这个及时启动后台时所报的错误，这是你jps一下，查看一下进程，会看到有RunJar这个进程，杀死它，一切全部搞定大家可以看到我这里见鬼了哈，有两个R...
2018-11-29 20:59:50
4754
2
原创 java基础之构造方法和this关键字
构造方法和this关键字一、构造方法定义：构造方法是指当实例化一个对象的时候，第一个被调用的方法如：Student stu = new Student();//Student()就是构造方法创建一个构造方法：访问权限修饰符 类名（）{方法体}普通方法：访问权限修饰符 其他修饰符 返回值类型 方法名（参数）{}重点：注意！！！：1.构造方法分为无参的构造方法和有参的构造方法，构造...
2018-11-24 21:54:15
297
原创 java基础之java面向对象详解
java基础之面向对象前言：我们学java都知道，java是不同于c语言的，java是一门面向对象的语言。那我们首先就来了解一下什么是对象一、对象对象，就是把一个类实例化，就被称为对象，比如，我有一个class User的类，我在main方法或者其他的方法中实例化这个类：User user = new User()，这个过程就叫做实例化对象。我们实例化对象的目的是为了调用这个类里面的方法或者...
2018-11-24 20:25:20
157
原创 spark中checkpoint的用法和作用
spark中checkpoint的用法和作用checkpoint的意思就是建立检查点,类似于快照,例如在spark计算里面 计算流程DAG特别长,服务器需要将整个DAG计算完成得出结果,但是如果在这很长的计算流程中突然中间算出的数据丢失了,spark又会根据RDD的依赖关系从头到尾计算一遍,这样子就很费性能,当然我们可以将中间的计算结果通过cache或者persist放到内存或者磁盘中,但是这样...
2018-11-22 20:00:25
572
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人