- 博客(26)
- 收藏
- 关注
RSS订阅原创 Elasticsearch 6.6.2 启动报错解决
启动报错[hadoop@hadoop004 elasticsearch-6.6.2]$ bin/elasticsearch........[2019-12-19T19:26:38,505][INFO ][o.e.b.BootstrapChecks ] [es-node1] bound or publishing to a non-loopback address, enforcing ...
2019-12-23 21:51:46
472
原创 MySQL 5.7 主从复制配置
软件准备mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz（下载地址）主从节点部署 MySQL解压 MySQL，创建目录[root@hadoop001 ~]# cd /usr/local[root@hadoop001 local]# tar -xzvf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz[root...
2019-12-23 21:01:36
172
原创 Spark Core 中的 Action 操作
Action算子的特点只有遇到action才会提交作业开始执行代码中都会有 sc.runJob(xxx)Action 算子操作collect返回一个包含 RDD 中所有元素的数组collect 会把所有数据收集到 Driver 端，所以如果数据量很大会报 OOM 异常scala> sc.parallelize(List(6, 7, 8, 9, 10)).collect...
2019-11-03 22:02:12
211
原创 Spark 中的 Ordering 和 Ordered
Scala中的 Ordering 和 Ordered首先来看一下 scala 中的 Ordering 和 Ordered 定义Orderingtrait Ordering[T] extends Comparator[T] with PartialOrdering[T] with Serializable继承了 java 中的 Comparator 接口，需要实现其中的 compare ...
2019-11-03 22:01:52
533
原创 Spark 中的 Transformation 操作
文章目录创建 RDD（parallelize & makeRDD）map & mapPartitions & mapPartitionsWithIndexmapValuesflatMapglomsamplefilterunion & intersection & subtractdistinctgroupByKey & reduceByKeygrou...
2019-10-27 16:51:43
616
原创 CentOS 7.2 环境编译 Azkaban-3.77.0
编译前准备一台能够联网的 CentOS 7.2 环境的机器JDK 1.8+Gitazkaban-3.77.0.tgz 源码包（release地址）开始编译解压源码包[hadoop@hadoop004 software]$ tar -xzvf azkaban-3.77.0.tar.gz编辑配置文件，修改distributionUrl，将提前下载好的gradle-4.6-a...
2019-09-22 19:48:40
208
原创 自定义实用 alias
cd后自动llcd_ll() { \cd $1 ll}alias cd='cd_ll'显示文件完成路径（带文件名）alias findc='find ${PWD} -name'
2019-08-31 08:48:12
266
1
原创 Windows 下开发 Hadoop 程序常见错误解决
文章目录java.lang.UnsatisfiedLinkErrorFailed to locate the winutils binary in the hadoop binary pathjava.lang.UnsatisfiedLinkError详细错误java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.Na...
2019-08-31 08:21:55
173
原创 Hadoop HA（HDFS HA 和 ResourceManager HA）架构
HDFS HA 架构架构图架构说明HA 使用主备两个 NN 节点解决单点问题，一个状态为 active，另一个为 standby两个 NN 节点通过 JN 集群共享状态，通过 ZKFC 选举 active 节点DN 会同时向两个 NN 节点发送心跳active 状态的 NN接收 client 的 RPC 请求并处理，自己写一份 editlog，同时也向 JN 的共享...
2019-08-24 18:38:03
268
原创 CentOS 使用 postfix 发送邮件
文章目录获取邮箱授权码配置 postfix邮件发送命令获取邮箱授权码以QQ邮箱为例，登录QQ邮箱，点击设置，选择账户找到下面的生成授权码（首先要开启第一个服务），通过密保验证后会生成一个授权码配置 postfix如果安装了 sendmail，先停止 sendmail 的服务并禁止开机自启[root@hadoop001 ~]# service sendmail stop...
2019-08-24 17:42:56
1639
原创 shell脚本
shell脚本基础脚本规范shell脚本一般以 .sh 结尾文件内容首行一般为 #!/bin.sh，执行脚本时使用 ./xxx.sh，新建的脚本文件需要添加执行权限。调试可以在首行添加一个 -x，其中+后的为执行的语句，下面为输出结果如果文件首行没有 #!/bin.sh，执行脚本时使用sh xxx.sh，调试脚本使用 sh -x xxx.sh[hadoop@hadoop001 s...
2019-08-24 17:23:31
116
原创 Hadoop HA部署文档
文章目录一、 软件版本二、 集群规划三、 目录规划四、 环境准备五、 安装Zookeeper六、 安装Hadoop（NameNode HA 和 ResourceManager HA）七、 初次启动集群八、 关闭集群九、 再次启动集群一、 软件版本组件名版本下载地址备注CentOSCentOS Linux release 7.2.1511 (Core)查看版本号 c...
2019-08-24 12:13:04
280
原创 CentOS 7.2 环境编译 Spark-2.4.2
编译前准备一台能够联网的 CentOS 7.2 环境的机器JDK 1.8+spark-2.4.2.tgz 源码包开始编译解压源码包修改 make-distribution .sh修改 pom.xml# 解压源码包tar -xzvf spark-2.4.2.tgzcd spark-2.4.2# 修改 make-distribution.shvi dev/make-...
2019-08-05 21:13:52
206
原创 CentOS 7.2 环境编译 hadoop-2.6.0-cdh5.15.1
文章目录为什么要编译 Hadoop编译前的准备开始编译解决编译中出现的错误使用编译成功后提取的maven仓库编译为什么要编译 Hadoop官方提供的Hadoop bin包是不支持一些类似snappy，zlib等本地库功能，所以我们需要重新编译使Hadoop支持这些功能编译前的准备在 hadoop-2.6.0-cdh5.15.1-src.tar.gz 中有一个 BUILDING.txt 文...
2019-08-05 10:51:28
546
4
原创 Hive 基础知识（二）
文章目录Hive 中的 json_tuple 和 parse_url_tuple 函数json_tupleparse_url_tuple开窗函数的使用hiveserver2（HS2） 和 beeline复杂数据类型分区表Hive 中的 json_tuple 和 parse_url_tuple 函数json_tuplejson_tuple 函数用来解析 json 串# 示例json串{...
2019-07-28 22:53:04
163
原创 Hive 基础知识（一）
文章目录Hive简介Hive的参数Hive 的常用字段类型Hive 的分隔符Hive 查看执行日志Hive 的 DDL 操作Hive简介Hive 是一个构建在 Hadoop 上的数据仓库，可以使用SQL的方式来读，写，管理分布式存储（HDFS / S3 / OSS / COS 等）上的大型数据集Hive 是由 Facebook 开源，为了解决海量的结构化日志的统计问题，适合处理离线数据H...
2019-07-23 23:18:27
317
转载 YARN 与 MR 的参数调优
YARN and MapReduce的【内存】优化配置详解http://blog.itpub.net/30089851/viewspace-2127850/YARN的Memory和CPU调优配置详解http://blog.itpub.net/30089851/viewspace-2127851/
2019-07-13 17:17:49
158
原创 Hadoop基础知识（MR on YARN篇）
文章目录基本概念YARN 的参数调优YARN 的架构MR on YARN 执行流程基本概念作业、job、application、应用 是同一个意思container：容器，yarn 的组件，是一个虚拟的概念，将一定的内存和 CPU，比如 1G 内存，一个 vcore 抽象为一块地方，来运行任务YARN 的参数调优一台 64G，16Cores 的服务器，系统安装完一般会使用一定的内...
2019-07-13 17:14:38
417
原创 Hadoop基础知识（HDFS篇）
文章目录块（block）HDFS 架构fsimage和edits的合并过程副本放置策略HDFS读流程HDFS写流程块（block）在 hdfs-site.xml 中通过 dfs.blocksize 参数调整 block 大小，默认为 134217728 B，即 128 M，如果文件比较大，可以调整为 256 MHDFS 适用于大文件存储，小文件对于 HDFS 来说是致命的每个公司对于小...
2019-07-13 11:41:54
137
原创 SQL练习
文章目录表结构及数据题目1. 查询出部门编号为30的所有员工的编号和姓名2. 找出部门编号为10中所有经理，和部门编号为20中，所有销售员的详细资料3. 查询所有员工详细信息，用工资降序排序，如果工资相同使用入职日期升序排序4. 列出最低薪金大于1500的各种工作及从事此工作的员工人数。5. 列出在销售部工作的员工的姓名，假定不知道销售部的部门编号6.查询姓名以S开头的\以S结尾\包含S字符\第二...
2019-07-13 11:03:34
551
原创 CentOS 6.5下大数据组件安装部署
文章目录前言Hadoop 伪分布式环境搭建前言本文演示环境在 CentOS 6.5 下，具体大数据组件的版本在下面会具体标注。Hadoop 伪分布式环境搭建安装 Hadoop 前需要提前安装好 JDK，JDK 的安装可见 CentOS 6.5常用软件安装 中的 JDK 安装步骤Hadoop 版本 hadoop-2.6.0-cdh5.7.0，点我下载大致按照创建 hadoop 用户，...
2019-07-01 21:50:47
308
原创 MySQL基础（一）
文章目录前言通用的三个步骤显示正在连接的进程DDL：增删改表结构几个建表规范常见字段类型主键DML：增删改查表内容前言本文总结了 MySQL 的一些工作中常用的基础知识，演示环境为 DBeaver（海狸）连接CentOS 6.5上安装的 MySQL 5.6.32，MySQL的安装可参见 CentOS 6.5常用软件安装 中的MySQL部分，不同MySQL的版本可能会有不同的输出结果，望周知。...
2019-06-27 23:06:33
122
原创 CentOS 6.5常用软件安装
前言本文总结了生产中常用软件的安装过程，环境为CentOS6.5，不同Linux版本可能有所不同，望周知。基本安装命令yum# 搜索 xxx 软件的安装包yum search xxx# 安装 xxx 软件,-y 表示不需要确认直接安装yum install -y xxx# 卸载 xxx 软件yum remove xxxrpm# 查询本机含有 xxx 关键字的软件名称r...
2019-06-21 23:40:36
1811
原创 Linux实用命令（二）
系统环境环境变量# 设置全局环境变量vi /etc/profile# 使全局环境变量生效source /etc/profile 或 . /etc/profile# 设置用户环境变量vi ~/.bash_profile或vi ~/.bashrc# 使用户环境变量生效source ~/.bash_profile 或 source ~/.bashrc. ~/.bash_prof...
2019-06-17 23:40:16
174
原创 Linux 实用命令（一）
文章目录前言文件及文件夹操作cdlsdumkdirtouchcpmvcatmorelesstail前言本系列博文结合实际工作中遇到的情况，系统总结了常用的 Linux 命令，并非罗列参数，详细参数请查看相应帮助文档，演示环境在 CentOS 6.5 下，不同 Linux 系统版本可能造成结果不同，望周知。文件及文件夹操作cd# 无论在哪个目录，返回家目录cd# 返回上次的目录（类似...
2019-06-16 14:57:44
238
原创 CentOS 6.5 环境安装
用到的软件虚拟机软件 VMware® Workstation 15 Pro链接：https://pan.baidu.com/s/1eKi0UlJVxwSbMXxr8P27nQ提取码：bq35CentOS 6.5镜像官方下载地址：http://vault.centos.org/6.5/isos/x86_64/CentOS-6.5-x86_64-bin-DVD1.iso安装过程VMW...
2019-06-16 13:52:32
240
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人