- 博客(37)
- 收藏
- 关注
转载 CentOS6.5 安装jdk1.8
1、源码包准备:首先从官网上下载jdk-8u45-linux-x64.gz。http://www.oracle.com/technetwork/java/javase/downlo...
2019-01-23 15:57:43
218
转载 spark-on-yarn作业提交缓慢优化之spark jar包处理
spark on yanr方式运行计算作业,发现作业提交缓慢,查看日志如下:18/09/2511:25:38WARNyarn.Client:Neitherspark.yarn.jarsnorspar...
2018-09-25 13:43:47
581
转载 将数据按指定格式存入zookeeper
环境: scala版本:2.11.8 zookeeper版本:3.4.5-cdh5.7.0packagecom.ruozedata.zkimportjava.util.conc...
2018-08-22 18:10:31
335
转载 从MySQL数据库中删除Hive元数据
Hive上所有元数据均保存在RDBMS中,所以删除RDBMS中的Hive的元数据,不会影响HDFS上的数据。目前针对MySQL数据库进行分析。Hive在MySQL数据库中的相关元数据的关系图:...
2018-07-31 18:18:46
1428
转载 使用ScalikeJDBC操作MySQL数据库
环境: IDEA+Maven+ScalikeJDBC+MySQL5.61 新建Maven的Scala工程2 pom.xml文件添加依赖: <pr...
2018-07-31 17:59:19
241
转载 用Scala将指定格式的数据写入到文件
新建FileOps对象:package com.ruozedata.day3import java.io.{File,PrintWriter}import java...
2018-07-29 13:19:23
2881
转载 使用Scala实现worldcount功能
新建ScalaWorldCount对象:package com.ruozedata.day4object ScalaWorldCount { def main(a...
2018-07-29 13:12:49
900
转载 Java API操作Hive
环境: IDEA2017.3+Maven-3.3.9+Hive1.1.01. pom.xml里面的依赖包配置<properties> <hi...
2018-07-29 13:09:40
1080
转载 Hive 自定义函数(UDF)二 将自定义函数注册到hive源码中,并重新编译hive
hive版本: hive-1.1.0-cdh5.7.01 编写UDF函数 1.1 用户idea+maven创建项目,pom.xml文件的配置如下:<?xml version="1.0" en...
2018-07-05 18:23:56
265
转载 Hive 自定义函数(UDF)一 创建临时函数和永久函数
1 先创建函数类文件 1.1 使用IDEA创建maven项目,创建HelloUDF类 1.2 运行HelloUDF类,测试是否成功 1.3 将...
2018-06-29 17:42:09
1978
转载 hive的内部表和外部表区别
1 内部表 1.1创建表默认使用的是MANAGED_TABLE:内部表。 1.2内部表在drop table的时候存储在RDBMS上的元数据和存储在HDFS上的数据全部被删除。2 外...
2018-06-21 14:41:54
87
转载 Hive DDL&DML
Hive构建在Hadoop之上: Hive的数据存放在HDFS之上 Hive的元数据可以存放在RDBMS之上一、DDL:Data Defination Language...
2018-06-21 14:26:26
94
转载 SQOOP+HADOOP+HIVE+MySQL统计各个区域下最热门的TOP3的商品
环境:hadoop-2.6.0-cdh5.7.0hive-1.1.0-cdh5.7.0sqoop-1.4.6-cdh5.7.0MySQL5.6.39...
2018-06-21 09:19:39
364
转载 dos2unix命令
os2unix命令用来将DOS格式的文本文件转换成UNIX格式的(DOS/MAC to UNIX textfileformat converter)。DOS下的文本文件是以\r\n作为断行标志的,表示成十六进制就是0D 0A...
2018-06-05 13:24:51
352
转载 hive-1.1.0-cdh5.7.0 安装
环境说明:1、VM10虚拟机2、系统:centos6.53、Hadoop:hadoop-2.6.0-cdh5.7.0...
2018-06-01 17:34:46
270
转载 hive-1.1.0-cdh5.7.0 编译
环境说明:1、VM10虚拟机2、系统:centos6.53、Hadoop:hadoop-2.6.0-cdh5.7.04、JDK:jdk1.8.0_4...
2018-06-01 17:22:09
234
转载 hive连MySQL数据库创建表的时候报错
1.报错信息:2018-06-01 14:44:20,644 ERROR [main]: DataNucleus.Datastore (Log4JLogger.java:error(115)) - Error th...
2018-06-01 15:43:15
643
转载 MapReduce2架构设计
一、MapReduce2架构设计(与MapReduce1对比)1. MapReduce1架构设计Client: 客户端JobTracker: 主要负责资源监控管理和作业调度。...
2018-05-30 17:10:21
127
转载 HDFS垃圾回收站配置及使用
HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回收站中都一个周期,也就是当系统回收站中的文件/目录在一段时间之后没有被用户恢复的话,HDFS就...
2018-05-25 15:53:15
735
转载 shell脚本编写之初级版
1. shell脚本的执行顺序是从上而下的,面向过程。2. 文件名称格式: xxx.sh3. 文件内容的第一行: #!/bin/bash4. shell脚本就是将命令全部融合在一起5. 定义变量 ...
2018-05-25 15:01:14
98
转载 hadoop fs常用命令
1 介绍Hadoop文件系统(FS)默认提供了各种shell命令,可用于与Hadoop分布式文件系统(HDFS)或任何其他使用Hadoop Shell的支持文件系统进行交互。一些最常用的命令是用于诸如创建目录...
2018-05-23 15:18:18
808
转载 HDFS之pid文件
1. pid文件默认存储在/tmp目录中,pid文件的内容为进程号[hadoop@hadoop002 ~]$ cd /tmp[hadoop@hadoop002 tmp]$ pwd/tmp...
2018-05-23 14:42:57
313
转载 HDFS写流程及权限问题
1. root用户上传文件到hdfs的权限问题: su -c 命令: -c command 或 --command=command 变更为帐号为 USER 的使用者并执行指令(command)后再变回原来使用者。...
2018-05-23 13:41:01
390
转载 hadoop伪分布式 MapReduce+Yarn 部署
1. 先看看官网伪分布式关于yarn的配置信息:官网地址:http://hadoop.apache.org/docs/r2.8.4/hadoop-project-di...
2018-05-22 16:43:22
82
转载 hadoop伪分布式安装(HDFS)
1. 解压缩/opt/software/hadoop-2.8.1.tar.gz 文件[root@hadoop002software]$ cd/opt/software/[root@hadoop...
2018-05-22 11:21:15
122
转载 有关oracle11g的job_queue_processes参数问题
最近在一个oracle11g数据库里面新建了一个job,job不会在设定的时间运行。但是手动运行是可以的。后来网上找到原因,是因为job_queue_processes的参数设置问题:1.job_queue_process...
2018-05-22 09:54:59
484
转载 hadoop-2.8.1 编译
1.hadoop-2.8.1源代码下载#先在/opt下面创建software和sourcecode文件夹[root@hadoop001 ~]# mkdir -p /opt/sourcecode /opt...
2018-05-14 17:37:06
123
转载 oracle 修改或者删除临时表
在生成环境中,因为业务的需求,需要对临时表进行处理。如果说临时表在使用中,被占用,操作就会报错。针对这种问题,解决方法如下:(1)---查找还在使用临时表的会话 SELECT sid ...
2018-05-10 14:12:03
810
转载 MySQL学习笔记一
1.在CentOS6 上 MySQL重新部署1.1 先删除 日志文件和数据文件 rm -rf arch/* data/* 1.2 再进行安装 ...
2018-05-10 13:24:42
124
转载 linux常用命令三
1.rz sz 上传和下载命令yum install lszrz 安装rz: window-->linux 上传sz: linux-->window 下载...
2018-05-07 14:58:47
92
转载 linux常用命令二
1.权限读: r 4写: w 2执行: x 1 shell脚本无权限:-[root@hadoop001 ~]# lltotal 1...
2018-05-07 14:40:44
82
转载 linux常用命令一
1.ifconfig 查看当前ip2.文件创建 vixxx.log 创建文件。输入内容后保存退出,创建一个非空文件;不输入内容保存退出,创建一个空文件。 touch xxx.log 创建一个空的...
2018-05-07 12:43:10
221
转载 CentOS6.5配置静态IP和可访问外网
1.关闭Windos7防火墙 2.开启VMware DHCP Service和VMware NAT Service两个服务...
2018-05-03 19:27:22
82
转载 VMware Workstation8 下安装 CentOS6.5( 安装图文教程 )
一、创建新的虚拟机,命名CentOS6.51、在VMware Workstation 8 主页中选择 文件 -- 》新的虚拟机2、选择自定义(高级)配置。3、默认,下一步。4、选择 我以...
2018-05-02 18:01:14
108
转载 CentOS不能解析域名的解决方法
今天发现刚装的CentOS6.5能网络配置成功,但是不能解析域名,在网上找了好多方法,都没有成功。最后找到一种解决方案:在/etc/sysconfig/network-scripts/ifcfg-eth0里面最后加上dns的...
2018-04-17 15:11:34
2150
转载 CentOS6.5上安装MySQL5.6.39的操作步骤
1.解压缩安装文件1.1解压tar -zxvf mysql-5.6.39-linux-glibc2.12-x86_64.tar.gz1.2重命名 mysql-5.6.39-linux-glibc2.12-x...
2018-04-16 15:51:11
108
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人