- 博客(37)
- 收藏
- 关注
RSS订阅转载 CentOS6.5 安装jdk1.8
1、源码包准备：首先从官网上下载jdk-8u45-linux-x64.gz。http://www.oracle.com/technetwork/java/javase/downlo...
2019-01-23 15:57:43
213
转载 spark-on-yarn作业提交缓慢优化之spark jar包处理
spark on yanr方式运行计算作业，发现作业提交缓慢,查看日志如下：18/09/2511:25:38WARNyarn.Client:Neitherspark.yarn.jarsnorspar...
2018-09-25 13:43:47
577
转载 将数据按指定格式存入zookeeper
环境： scala版本：2.11.8 zookeeper版本：3.4.5-cdh5.7.0packagecom.ruozedata.zkimportjava.util.conc...
2018-08-22 18:10:31
328
转载 从MySQL数据库中删除Hive元数据
Hive上所有元数据均保存在RDBMS中，所以删除RDBMS中的Hive的元数据，不会影响HDFS上的数据。目前针对MySQL数据库进行分析。Hive在MySQL数据库中的相关元数据的关系图：...
2018-07-31 18:18:46
1420
转载 使用ScalikeJDBC操作MySQL数据库
环境： IDEA+Maven+ScalikeJDBC+MySQL5.61 新建Maven的Scala工程2 pom.xml文件添加依赖： <pr...
2018-07-31 17:59:19
233
转载 用Scala将指定格式的数据写入到文件
新建FileOps对象：package com.ruozedata.day3import java.io.{File,PrintWriter}import java...
2018-07-29 13:19:23
2875
转载 使用Scala实现worldcount功能
新建ScalaWorldCount对象：package com.ruozedata.day4object ScalaWorldCount { def main(a...
2018-07-29 13:12:49
894
转载 Java API操作Hive
环境: IDEA2017.3+Maven-3.3.9+Hive1.1.01. pom.xml里面的依赖包配置<properties> <hi...
2018-07-29 13:09:40
1076
转载 Hive 自定义函数（UDF）二 将自定义函数注册到hive源码中,并重新编译hive
hive版本： hive-1.1.0-cdh5.7.01 编写UDF函数 1.1 用户idea+maven创建项目，pom.xml文件的配置如下：<?xml version="1.0" en...
2018-07-05 18:23:56
247
转载 Hive 自定义函数（UDF）一 创建临时函数和永久函数
1 先创建函数类文件 1.1 使用IDEA创建maven项目，创建HelloUDF类 1.2 运行HelloUDF类，测试是否成功 1.3 将...
2018-06-29 17:42:09
1974
转载 hive的内部表和外部表区别
1 内部表 1.1创建表默认使用的是MANAGED_TABLE：内部表。 1.2内部表在drop table的时候存储在RDBMS上的元数据和存储在HDFS上的数据全部被删除。2 外...
2018-06-21 14:41:54
80
转载 Hive DDL&DML
Hive构建在Hadoop之上： Hive的数据存放在HDFS之上 Hive的元数据可以存放在RDBMS之上一、DDL：Data Defination Language...
2018-06-21 14:26:26
86
转载 SQOOP+HADOOP+HIVE+MySQL统计各个区域下最热门的TOP3的商品
环境：hadoop-2.6.0-cdh5.7.0hive-1.1.0-cdh5.7.0sqoop-1.4.6-cdh5.7.0MySQL5.6.39...
2018-06-21 09:19:39
356
转载 dos2unix命令
os2unix命令用来将DOS格式的文本文件转换成UNIX格式的（DOS/MAC to UNIX textfileformat converter）。DOS下的文本文件是以\r\n作为断行标志的，表示成十六进制就是0D 0A...
2018-06-05 13:24:51
345
转载 hive-1.1.0-cdh5.7.0 安装
环境说明：1、VM10虚拟机2、系统：centos6.53、Hadoop：hadoop-2.6.0-cdh5.7.0...
2018-06-01 17:34:46
267
转载 hive-1.1.0-cdh5.7.0 编译
环境说明：1、VM10虚拟机2、系统：centos6.53、Hadoop：hadoop-2.6.0-cdh5.7.04、JDK：jdk1.8.0_4...
2018-06-01 17:22:09
227
转载 hive连MySQL数据库创建表的时候报错
1.报错信息：2018-06-01 14:44:20,644 ERROR [main]: DataNucleus.Datastore (Log4JLogger.java:error(115)) - Error th...
2018-06-01 15:43:15
629
转载 MapReduce2架构设计
一、MapReduce2架构设计(与MapReduce1对比)1. MapReduce1架构设计Client: 客户端JobTracker: 主要负责资源监控管理和作业调度。...
2018-05-30 17:10:21
121
转载 HDFS垃圾回收站配置及使用
HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，在系统回收站中都一个周期，也就是当系统回收站中的文件/目录在一段时间之后没有被用户恢复的话，HDFS就...
2018-05-25 15:53:15
730
转载 shell脚本编写之初级版
1. shell脚本的执行顺序是从上而下的，面向过程。2. 文件名称格式: xxx.sh3. 文件内容的第一行: #!/bin/bash4. shell脚本就是将命令全部融合在一起5. 定义变量 ...
2018-05-25 15:01:14
91
转载 hadoop fs常用命令
1 介绍Hadoop文件系统（FS）默认提供了各种shell命令，可用于与Hadoop分布式文件系统（HDFS）或任何其他使用Hadoop Shell的支持文件系统进行交互。一些最常用的命令是用于诸如创建目录...
2018-05-23 15:18:18
797
转载 HDFS之pid文件
1. pid文件默认存储在/tmp目录中，pid文件的内容为进程号[hadoop@hadoop002 ~]$ cd /tmp[hadoop@hadoop002 tmp]$ pwd/tmp...
2018-05-23 14:42:57
299
转载 HDFS写流程及权限问题
1. root用户上传文件到hdfs的权限问题： su -c 命令： -c command 或 --command=command 变更为帐号为 USER 的使用者并执行指令（command）后再变回原来使用者。...
2018-05-23 13:41:01
386
转载 hadoop伪分布式 MapReduce+Yarn 部署
1. 先看看官网伪分布式关于yarn的配置信息：官网地址：http://hadoop.apache.org/docs/r2.8.4/hadoop-project-di...
2018-05-22 16:43:22
77
转载 hadoop伪分布式安装(HDFS)
1. 解压缩/opt/software/hadoop-2.8.1.tar.gz 文件[root@hadoop002software]$ cd/opt/software/[root@hadoop...
2018-05-22 11:21:15
118
转载 有关oracle11g的job_queue_processes参数问题
最近在一个oracle11g数据库里面新建了一个job，job不会在设定的时间运行。但是手动运行是可以的。后来网上找到原因，是因为job_queue_processes的参数设置问题：1.job_queue_process...
2018-05-22 09:54:59
476
转载 hadoop-2.8.1 编译
1.hadoop-2.8.1源代码下载#先在/opt下面创建software和sourcecode文件夹[root@hadoop001 ~]# mkdir -p /opt/sourcecode /opt...
2018-05-14 17:37:06
115
转载 oracle 修改或者删除临时表
在生成环境中，因为业务的需求，需要对临时表进行处理。如果说临时表在使用中，被占用，操作就会报错。针对这种问题，解决方法如下：（1）---查找还在使用临时表的会话 SELECT sid ...
2018-05-10 14:12:03
795
转载 MySQL学习笔记一
1.在CentOS6 上 MySQL重新部署1.1 先删除 日志文件和数据文件 rm -rf arch/* data/* 1.2 再进行安装 ...
2018-05-10 13:24:42
115
转载 linux常用命令三
1.rz sz 上传和下载命令yum install lszrz 安装rz: window-->linux 上传sz: linux-->window 下载...
2018-05-07 14:58:47
85
转载 linux常用命令二
1.权限读: r 4写: w 2执行: x 1 shell脚本无权限：-[root@hadoop001 ~]# lltotal 1...
2018-05-07 14:40:44
76
转载 linux常用命令一
1.ifconfig 查看当前ip2.文件创建 vixxx.log 创建文件。输入内容后保存退出，创建一个非空文件；不输入内容保存退出，创建一个空文件。 touch xxx.log 创建一个空的...
2018-05-07 12:43:10
211
转载 CentOS6.5配置静态IP和可访问外网
1.关闭Windos7防火墙 2.开启VMware DHCP Service和VMware NAT Service两个服务...
2018-05-03 19:27:22
74
转载 VMware Workstation8 下安装 CentOS6.5( 安装图文教程 )
一、创建新的虚拟机，命名CentOS6.51、在VMware Workstation 8 主页中选择 文件 -- 》新的虚拟机2、选择自定义（高级）配置。3、默认，下一步。4、选择 我以...
2018-05-02 18:01:14
99
转载 CentOS不能解析域名的解决方法
今天发现刚装的CentOS6.5能网络配置成功，但是不能解析域名，在网上找了好多方法，都没有成功。最后找到一种解决方案：在/etc/sysconfig/network-scripts/ifcfg-eth0里面最后加上dns的...
2018-04-17 15:11:34
2139
转载 CentOS6.5上安装MySQL5.6.39的操作步骤
1.解压缩安装文件1.1解压tar -zxvf mysql-5.6.39-linux-glibc2.12-x86_64.tar.gz1.2重命名 mysql-5.6.39-linux-glibc2.12-x...
2018-04-16 15:51:11
101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人