自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

二百四十九先森的博客

欢迎各位小伙伴添加本人QQ1034808697,一起学习进步~

原创 细致剖析Hive的时间函数

1、时间戳与任何格式的日期互转 from_unixtime(时间戳,时间格式) 将时间戳转换为致指定的日期格式 hive> select from_unixtime(1234567890,'yyyy-MM-dd'); 2009-02-14 ...

2020-01-07 11:37:58

阅读数 33

评论数 0

原创 Azkaban:最受欢迎的工作流定时调度器

1、理论基础 1、azkaban是什么? azkaban是一个工作流定时调度器,可以解决hadoop jobs的作业依赖问题,使相互依赖的job按顺序执行。 2、azkaban的特点? a.兼容所有版本的hadoop。 这一点与oozie不同,oozie严格依...

2019-12-02 17:37:33

阅读数 41

评论数 0

原创 centos7 rpm安装mysql5.7

rpm -qa | grep mysql yum -y remove mysql-libs-5.1.66-2.el6_3.x86_64 rpm -qa | grep mariadb yum remove mariadb-libs-5.5.64-1.el7.x86_64 mysql-5.7.22-...

2019-11-29 15:08:42

阅读数 10

评论数 0

原创 20 Nov 00:00:08 ntpdate[17339]: the NTP socket is in use, exiting

1、报错信息如下 2、原因 已经有运行中的xtpd进程占用了ntpdate的端口,将其杀死即可。 3、解决 查看xtp进程: 没有则通过lsof进行查看,然后杀死该进程 如果lsof命令无法运行,则安装 yum install -y lsof 之后重新执行 ...

2019-11-20 09:53:56

阅读数 19

评论数 0

原创 手把手教你复制黏贴式搭建企业级CDH平台

1、基础知识与节点规划 1、cdh的部署形式有三种 bin在线部署 rpm包部署 要访问外网或者私服 tar包部署 这是真正意义上的离线部署 由于公司网路无法访问外网,所以一般我们就是使用第三种模式进行部署 2、CDH离线部署的三个部分 MySQL离线...

2019-11-19 23:51:40

阅读数 46

评论数 0

原创 ssh: Could not resolve hostname node1: Name or service not known

执行ssh命令报错: ssh: Could not resolve hostname node1: Name or service not known 解决方式: vi /etc/hosts

2019-11-12 16:36:24

阅读数 400

评论数 0

原创 通过Sqoop在RDBMS和Hive之间传输数据

1、理论基础 1、版本 sqoop1:1.4开头 sqoop2:1.99开头 1和2不兼容 sqoop1只有maptask,task数量需要自己设置。没有集群概念 2、安装: 解压,配置环境变量,将mysql驱动包导入lib目录 更改配置文件 3、命...

2019-11-08 16:12:29

阅读数 9

评论数 0

转载 大数据领域常用组件的端口号

Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 :...

2019-10-29 13:58:02

阅读数 8

评论数 0

原创 Maven的安装与配置

第一步: 下载好maven的软件包。 传送门:http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.2/binaries/apache-maven-3.6.2-bin.zip 第二步: 解压到安装目录,即可完...

2019-10-27 19:08:40

阅读数 23

评论数 0

原创 Spark开发必会之:Java8新特性Lambda表达式

package lambda表达式; import java.util.Arrays; import java.util.List; import org.junit.Test; import com.sun.org.apache.xerces.internal.util.Synchroni...

2019-07-01 14:04:33

阅读数 181

评论数 0

转载 JUnit4 与 JUnit 5 常用注解对比

原文链接:https://blog.csdn.net/winteroak/article/details/80591598

2019-07-01 11:34:22

阅读数 160

评论数 0

转载 清晰理解红黑树的演变---红黑的含义

前言 红黑树,对不少人来说是个比较头疼的名字,在网上搜资料也很少有讲清楚其演变来源的,多数一上来就给你来五条定义,红啊黑啊与根节点距离相等之类的,然后就开始进行旋转、插入、删除这些操作。一通操作下来,连红色和黑色怎么来的,是什么含义,有什么作用都云里雾里的,能搞清楚就怪了。 本文介绍红黑树,暂...

2019-06-30 11:02:14

阅读数 55

评论数 0

原创 设计模式的面试思路推演

1、面试官发问,话题牵引 思路: 无论让你讲什么设计模式,统一引到单例设计模式。 套路: 设计模式要将就讲最难的和应用最广的。 单例模式最难! 单例模式简单? 考虑了序列化吗?考虑了反射吗?考虑了安全性吗?考虑了多线程和高并发吗? 2、单例模式概况 ...

2019-06-10 11:22:38

阅读数 1886

评论数 20

原创 修改MySQL编码格式

1、vi /etc/my.cnf 添加如下内容 [client] default_character_set=utf8 [mysqld] collation_server = utf8_general_ci character_set_server = ut...

2019-06-09 14:23:42

阅读数 78

评论数 0

原创 快要遗忘的JAVA知识之温故而知新

1、session和cookie区别? cookie: 在浏览器端缓存诸如用户输入等小型非敏感数据,不安全。 关闭浏览器cookie销毁除非设置了有效期 session: 在服务器端存储诸如数据库查询等敏感数据,session id自动由浏览器端cookie维护。 ...

2019-06-08 11:15:56

阅读数 48

评论数 0

原创 工具类:HBase常用的api操作的java实现

对表的操作 package com.imooc; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; ...

2019-05-19 12:29:15

阅读数 292

评论数 0

原创 MySQL练习题

2019-05-19开始 2019-06-05结束 每天更新两道题的答案,对应的补充知识点也会以博客的形式记录。 建表语句 #########创建学生表 create table t_student( sid int primary key, sname varchar(10),...

2019-05-19 10:01:23

阅读数 208

评论数 0

转载 详细剖析Hive SQL的编译过程

Hive SQL的编译过程

2019-05-16 12:54:23

阅读数 99

评论数 0

原创 Hadoop中HDFS小文件产生场景及其处理方案

影响: 1、文件的元数据存储在namenode中,每个文件的元数据都差不多大,小文件过多会极大的占用namonode 的内存,制约集群的扩展。(主要影响) 2、在对小文件进行处理的时候,一个小文件对应一个maptask,一个maptask会起一个jvm进程,进程的 开启销毁会严重性...

2019-05-15 21:28:46

阅读数 171

评论数 0

转载 Linux自带python2.6升级python3

服务linux器自带的是python2.6.无法安装 pip install paramiko。总是报错。 系统自带的Python2.6又不能动。无奈只好再安装一个版本。 自己尝试手动升级python2.7 最后还是放弃了,因为安装成功了,pip等组件也没法使用,尴尬。 最终, 还是改为用a...

2019-05-07 12:34:30

阅读数 184

评论数 0

原创 Hive中的join实操加补充MySQL中的exits/in

hive中的join有以下几类: inner join/left join/right join/full join/cross join/left semi join 测试数据: ja.txt 1 zhang3 2 li4 3 w...

2019-04-30 11:13:20

阅读数 97

评论数 0

原创 用hive分析某地区掉话率top10的设备

数据如下: 废话不多说,开干 1、将数据上传至hdfs。 2、建立原始数据表: create table phone_raw ( record_time String, imei String, cell String, ph_num int, call_num int, ...

2019-04-29 20:56:40

阅读数 74

评论数 0

原创 hive的操作方式以及补充hive中的索引和视图

Hive操作方式 1、命令行方式cli: A)执行SQL: hive> select * from psn; OK 1 zhang3 ["sing","tennis","running"] {"b...

2019-04-29 17:19:33

阅读数 174

评论数 0

原创 hive中的lateral view结合udtf函数的使用解决生产问题

=============================================================================== create table psn ( id int, name string, likes array<st...

2019-04-29 15:02:00

阅读数 124

评论数 0

原创 Hive中的参数设置的四种方式

1、参数分类 hiveconf: 配置变量 可读写 一般我们设置的就是这一类参数 system: 系统变量 可读写 env: 环境变量 只读 hivevar: 变量 可读写 hive -d key=val 使用:${key} ...

2019-04-28 21:00:46

阅读数 426

评论数 0

原创 Hive常用的内置函数示例演示

测试数据: 1 zhang3 sing-pingpong-running beijing:daxing 2 li4 sing-pingpong-running beijing:daxing 3 wang5 sing-pingpong-run...

2019-04-27 22:20:00

阅读数 135

评论数 0

原创 hive 0.14版本新shell客户端工具beeline的使用及一些注意事项

1、beeline介绍 a)0.14版本后,基于hiveserver2的客户端工具beeline出现,可以替代传统的hive shell客户端。 beeline的使用必须结合hiveserver2,即必须先启动hiveserver2服务才能进入beeline客户端。...

2019-04-27 10:44:32

阅读数 199

评论数 0

原创 Hive三种模式的简单介绍及具体搭建流程

理论基础 hive有三种运行模式: 内嵌模式、本地模式、远程模式。 内嵌模式: 元数据保村在内嵌的derby中,允许一个会话链接,尝试多个会话链接时会报错。 本地模式: 本地安装mysql 替代derby存储元数据。 由于元数据的获取需要访问mysql,所...

2019-04-25 08:18:36

阅读数 307

评论数 0

原创 配置文件 "G:\虚拟机列表\Linux001.vmx" 由产品 VMware 创建, 其版本 VMware Workstation 不兼容并且不能使用.

解析: 报这种错误一般是虚拟机文件里声明的VMware版本和真实的VMware版本不一致导致。我们可以手动更改真实VMware版本,或者更改虚拟机文件里声明的VMware版本。以下我们通过更该虚拟机文件内VMware版本来解决这一问题。 1、找到虚拟机文件,用文本编辑器打开。 2、在...

2019-04-22 09:28:13

阅读数 1361

评论数 0

原创 单物理节点实现Redis3.x集群模式的简单搭建

1、理论基础 1、集群由6个节点组成,三个主节点,每个主节点对应一个从节点。 主节点:8001、8002、8003 从节点:8004、8005、8006 对应关系:8001--8004/8002--8005/8003--8006 2、在8001节点...

2019-04-20 15:27:55

阅读数 74

评论数 0

原创 过时的技术:在Redis2.x单物理节点上借助redis-sentinel实现redis“一主二仆”模式的高可用

1、理论基础 1、redis主从复制机制: 主节点数据更新后通过相关配置自动同步数据到从节点上的机制称之为redis的主从复制机制。 意义: 读写分离 容灾恢复 2、读写分离 redis的Master-Slave机制中,主节...

2019-04-20 13:40:23

阅读数 58

评论数 0

原创 事务演示:Redis的事务是部分事务

1、理论基础 1、基础 a)redis的事务是部分事务,不能保证事务的原子性: 因为即使事务中有任何操作隐式地执行失败(即事务提交后该操作执行失败),事务仍会被提交,能正确执行的操作仍会写入数据库中。 b)它的实质是将所有操作放到一个队列中按顺序执行。 c)相关命令 ...

2019-04-19 10:30:04

阅读数 44

评论数 0

原创 Redis的key关键字和五种常用数据类型:String、List、Hash、Set、Zset及其示例演示

1、key关键字 1、set/get/keys/del set u1 zhang3 #####添加数据 get u1 #####获取数据 exists u1 #####获取数据 del u1 #####删除数据 keys * ...

2019-04-18 17:41:06

阅读数 109

评论数 0

原创 Redis配置文件redis.conf精讲

本人使用的是redis-3.0.0 1、概述 redis.conf文件: redis的核心配置文件,要玩好redis,熟悉redis.conf是必不可少的。 该配置文件主要分为以下几个模块: INCLUDES、GENERAL、SNAPSHOTTING、REPL...

2019-04-18 14:35:10

阅读数 40

评论数 0

原创 学习资料大全

1、Javaav47103781 2、Springav47103781 3、Spring Mvcav47176832 4、MyBatisav47228830 5、Spring Bootav47230137 6、Spring Cloudav47228830 7、Dubboav47009143 8、M...

2019-04-18 12:46:15

阅读数 106

评论数 0

原创 Redis的持久化:RDB与AOF讲解

一、RDB(Redis Database) 1、基础知识 1、基础: 默认的持久化机制。 可以定时备份内存中的数据集。 每个某段时间内,如果发生了超过特定次数的写操作,则进行持久化。 生成的持久文件为/opt/apps/redis-2.8.18/bin/dum...

2019-04-17 08:46:33

阅读数 47

评论数 0

原创 Redis简单搭建及密码配置修改

1、yum -y install gcc tcl #####这个tcl是后续执行完第3步检查安装时“make test”要用的,不检查可以不装,对后续不会有任何影响 2、cd /opt/source && tar zxvf redis-3.0.0.tar.gz -C ../ap...

2019-04-16 21:27:34

阅读数 45

评论数 0

原创 命令行操作Zookeeper

1、命令讲解 1、#####查看所有命令 [zk: localhost:2181(CONNECTED) 5] help ZooKeeper -server host:port cmd args connect host:port get path [watch] ...

2019-04-15 20:36:15

阅读数 70

评论数 0

原创 彻底解惑MapReduce核心shuffle的执行流程及MapReduce调优前瞻

以处理text文件为例 map端 map端: 1、MRApplicationMaster启动maptask,并分配其一个编号,maptask根据编号寻找对应的存储文件位 置信息及切片长度的数据切片,默认数据切片对应的文件大小与blocksize大小一致。然后maptas...

2019-04-14 17:02:17

阅读数 156

评论数 0

原创 jps查看集群进程报错:7211 - - process imformation unavailable

在Linux下执行 jps 是快速查看Java程序进程的命令,一般情况下hadoop,hbase,storm等进程都是通过jps查看。有些时候因为进程没有被正常结束,比如资源占用过大时挂掉或者没有结束进程就直接重启计算机,会导致原有进程变为-- process information unavai...

2019-04-11 21:05:28

阅读数 51

评论数 0

提示
确定要删除当前文章?
取消 删除