自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Aidon博客

工作中用到的技术 、 工作学习到的技术 、 了解的It前沿信息 、 最新IT 技术。。。

原创 flink yarn模式HA部署

文章目录1、yarn cluster 模式部署介绍2、flink session HA模式3、flink-per-job模式该文章基于上一篇:Flink的local和standalone HA安装部署https://editor.csdn.net/md/?articleId=1061556811、yarn cluster 模式部署介绍mr和spark都可以基于yarn模式部署,flink也不例外,生产中很多也基于yarn模式部署。flink的yarn模式部署也分为两种方式,一种是yarn-sessi

2020-05-20 20:08:31 89

原创 Flink的local和standalone HA安装部署

1、local模式flink的local模式运行在单个jvm中。同时local方便快速测试。安装方式:需求:Java 1.8.x or higher,ssh1、下载2、解压[root@hadoop01 local]# tar -zxvf /home/flink-1.9.1-bin-scala_2.11.tgz -C /usr/local/[root@hadoop01 local]# cd ./flink-1.9.1/3、配置环境变量export FLINK_HOME=/usr/l

2020-05-16 10:52:19 105

原创 flink的基础介绍

Flink 学习资料官方文档 :https://flink.apache.orgFlink 中文社区视频课程:https://github.com/flink-china/flink-training-courseFlink 中文社区 :https://www.slidestalk.com/FlinkChinaververica 教程 :https://training.ververica.com/ververica 教程中文文档:https://ci.apache.org/projects/f

2020-05-10 01:00:24 114

原创 大数据BI可视化基础

1、大数据行业1.1 大数据常见行业-- 政府 -- 教育(线下、线上) -- 医疗(疫情、制药、基因) -- 交通(地铁、铁路、民航、公路交通) -- 旅游 -- 健康(运动、在线健康) -- 能源(水、电、煤、矿) -- 金融(银行、保险、证券、股票) -- 房地产 -- 汽车 -- 制造 -- 农业 -- 养殖业-- 公安 -- 法律 -- 军事 -- 航天 -- 电商 -- 直播平台 -- 求职平台 -- 社交平台 -- 等

2020-05-08 21:54:39 170

原创 hadoop和hive配置kerbros安全认证

需求:对新建hadoop集群和hive集群的安全认证安装部署。版本:centos 7.7hadoop 2.7.6hive 1.2.2部署规划:ip主机服务192.168.216.111hadoop01namenode、resourcemanager、datanode、nodemanager、hive、KDC服务192.168.216.112ha...

2020-04-30 11:55:44 168

原创 hive实现存储过程

1、hive存储过程简介1.x版本的hive中没有提供类似存储过程的功能,使用Hive做数据开发时候,一般是将一段一段的HQL语句封装在Shell或者其他脚本中,然后以命令行的方式调用,完成一个业务或者一张报表的统计分析。好消息是,现在已经有了Hive存储过程的解决方案(HPL/SQL –Procedural SQL on hadoop),并且在未来的Hive的版本(2.0)中,会将该模块集成进...

2020-04-24 16:38:03 279

原创 hive LZO压缩

hive LZO压缩本文环境介绍:软件版本备注centos6.5hadoop2.7.12.7.*即可hive2.3.6lzo2.10需要独立安装1 lzo压缩1.1 lzo的简介1.1.1 lzo定义LZO 是致力于解压速度的一种数据压缩算法,相比于压缩比它更加追求速度,LZO 是 Lempel-Ziv-Oberhumer 的...

2020-04-22 13:37:42 94

原创 hive的3种自定义函数

hive自定义函数1 自定义函数1.1 为什么需要自定义函数hive的内置函数满足不了所有的业务需求。hive提供很多的模块可以自定义功能,比如:自定义函数、serde、输入输出格式等。1.2 常见自定义函数有哪些UDF:用户自定义函数,user defined function。一对一的输入输出。(最常用的)。UDTF:用户自定义表生成函数。user defined table...

2020-04-21 00:16:35 124

原创 hive常用窗口函数

1 hive窗口函数在平时的开发中常用那些hive函数??1、字符串操作函数?split、concat、ifnull、cast2、聚合函数 : hive适用于分析,所以常用。3、时间函数 : 数仓的特征随时间变化而变化,所以时间也特别多哪窗口函数到底是什么鬼??hive中窗口函数是聚合函数的增强实现,是针对分组后,还需要对组内的每行数据返回一个对应的统计值。而这个聚合函数很难做到,聚...

2020-04-16 17:28:25 119

原创 hive常用内部函数

hive常用内部函数hive是一种典型的数据仓库分析工具,常用语编写hql语句进行指标分析。在编写hql的过程中无疑会用到很多的函数,哪本章来编写一些常见的函数。常见函数很多,不同常见不同人员,使用不一样,不喜勿喷。1、随机函数rand()格式:rand([int seed])返回:double-- 取0-1的随机值select rand();-- 指定随机函数的种子seed,该...

2020-04-16 16:35:29 60

原创 centos7.7 常用命令一

centos7.x命令查看ip地址:ip addip addr查看主机名:hostname修改主机名:法一(当前session生效):hostnamectl set-hostname hadoop01法二(修改/etc/hostname永久生效):vi /etc/hostnamehadoop01修改ipvi /etc/sysconfig/network-script...

2020-03-14 20:21:20 214

原创 tez 0.9.0 的安装和测试

文章目录1 tez的概览1.1 tez介绍1.1.1 介绍2 tez的安装2.1 tez下载2.2 tez源码编译2.3 tez的安装2.3.1 解压并配置环境2.3.2 配置配置文件2.4 tez、hadoop、hive整合2.4.1 tez和hadoop的兼容2.4.2 tez和hive结合3 tez案例3.1 tez执行3.2 还原mr执行4 tez优化5 更新tez1 tez的概览环境...

2020-03-14 20:12:37 138

原创 linux expect 案例

1、linux expect命令,它类似于shell、window中的cmd。本身就是命令2、如果没有需要安装yum info expectyum -y install expect如果不行使用源码安装吧3、man expect案例1:[root@hadoop01 ~]# expect -c 'expect "\n" {send "pressed enter\n"}'   交互式的,...

2018-09-11 01:15:16 350

转载 scala中方法和函数的区别

在Scala中函数和方法有什么区别如下:1、有参方法可以作为表达式的一部分出现,无参方法可以作为最终表达式出现;但函数可以作为最终表达式出现方法可以作为一个表达式的一部分出现(调用函数并传参),但带参方法不能作为最终的表达式出现,无参方法可以作为最终表达式出现,其实这属于方法调用,scala规定无参方法的调用可以省略括号;但是函数可以作为最终的表达式出现:scala> //定义一个方法s...

2018-06-28 23:03:51 1395 3

原创 hadoop job 的container日志的查看

一般有几个地方可以查看:1、通过本地日志目录查看对应container日志文件,默认在hadoop的安装目录下的/logs/userlogs/:直接用查看文件命令查看即可该地方的应用运行日志不一定最全,因为任务运行日志由每一个NM产生在本地,然后再给聚合到文件系统中(配置聚合日志功能)。2、浏览器查看,默认在/yarn/logs/${user}/logs:需要找对应的applicationId,甚...

2018-04-11 16:19:22 17026

转载 hadoop的日志详解

本文部分资料转自 Hadoop日志存放路径详解 本文部分资料转自 Hadoop历史服务器详解 本文部分资料转自 董的博客:Hadoop 2.0中作业日志收集原理以及配置方法一 Hadoop 日志存放路径详解1 Hadoop系统服务输出的日志2 配置 Hadoop 系统服务日志二 历史服务器 JobHistory Server1 历史服务器配置2 关于 HA 模式下的历史服务器配置的结论3 启动历史...

2018-04-11 14:49:52 9258

转载 log4j.properties配置详解与实例

转自:http://blog.sina.com.cn/s/blog_5ed94d710101go3u.html       最近使用log4j写log时候发现网上的写的都是千篇一律,写的好的嘛不全,写的全一点的嘛没有一点格式,看着累。这里把网上收集到的整理了一下,并且全部都在机器上测试成功了。这么好的文档估计没有了吧? #################################

2018-02-03 17:41:10 198

原创 oozie的简单案例

1、fs的action:================job.properties的内容如下:nameNode=hdfs://hadoop007:9000jobTracker=hadoop007:8032queueName=defaultexamplesRoot=fsoozie.wf.application.path=${nameNode}/user/${user

2018-01-22 00:07:15 1603

转载 oozie 概要

oozie相关概念介绍: Oozie is a workflow scheduler system to manage Apache Hadoop jobs.Oozie Workflow jobs are Directed Acyclical Graphs (DAGs) of actions.Oozie Coordinator jobs are 

2018-01-22 00:00:21 738

原创 oozie 4.3.0 编译安装

Oozie的编译:系统需求:Unix box (tested on Mac OS X and Linux)Java JDK 1.7+Maven 3.0.1+Hadoop 0.20.2+Pig 0.7+ JDK commands (java, javac) must be in the command path.The Maven command (mvn) mu

2018-01-21 23:24:10 1843 2

原创 cms cdh 5.3.x 升级成HA的配置

cms cdh 升级成HA的配置 CDH的HA的安装和配置 CDH 5.3.x的HA的搭建

2017-12-27 16:04:37 391

原创 centos 6.5 cms 5.3.6 cdh 5.3.6 安装

centos cms cdh 离线安装centos cms cdh 离线安装centos cms cdh 离线安装

2017-12-20 23:49:31 1898 2

转载 Hadoop平台关闭THP解决服务器高负载问题

Hadoop平台关闭THP解决服务器高负载问题,Ambari和CM管理平台都提示,建议关闭THP.

2017-11-25 10:39:29 447

原创 大数据面试一些问题

大数据面试题

2017-09-04 14:15:09 811

转载 hadoop hdfs存储原理

hadoop的hdfs存储原理,hdfs的存储原理,hdfs的底层存储原理

2017-08-25 10:19:43 1091

原创 python scrapy 的概念、安装、使用和案例

python scrapy 的概念、安装、使用和案例 scrapy 安装

2017-08-19 10:48:49 814

原创 python 多进程爬虫案例

python 多进程爬虫案例

2017-08-18 00:36:52 1867

原创 python的多线程和多进程网络编程

python的多线程和多进程网络编程

2017-08-18 00:35:33 550

原创 python 操作mongodb

python 操作mongodb

2017-08-18 00:32:25 622

原创 mongodb的安装和使用

mongodb的安装和使用

2017-08-18 00:26:27 268

原创 python 将爬虫内容保存到mysql中

python 将爬虫内容保存到mysql中

2017-08-18 00:24:48 916

原创 python sqlalchemy的应用

python sqlalchemy的应用

2017-08-18 00:22:16 456

原创 python mysqlDB的安装和使用

python mysqlDB的安装和使用

2017-08-18 00:12:16 516

原创 python mysql-connector的安装和使用

python mysql-connector的安装和使用

2017-08-18 00:10:48 15516

原创 python 分页爬取

python 分页爬取

2017-08-18 00:08:46 1786

原创 python xpath介绍和新闻内容爬虫

python xpath介绍和新闻内容爬虫

2017-08-18 00:06:14 2219

原创 windows中安装request

windows中安装request

2017-08-17 00:19:06 8001 2

原创 python 爬虫介绍

python 爬虫介绍

2017-08-17 00:17:51 812

原创 python 继承多重继承

python 继承多重继承

2017-08-17 00:15:32 748

原创 python 特殊方法、运算符重载

python 特殊方法、运算符重载

2017-08-17 00:13:41 777

提示
确定要删除当前文章?
取消 删除