yoohhwz的博客

flink的业务逻辑代码导致的flink反压，进而导致kafka数据挤压

flink源码解析

1、去Apache官网下载hadoop解压包(官网)2、找到你需要的安装包下载3、下载后解压，配置环境变量3、下载尽量对应版本的 hadoop.dll 和 winutils.exe（下载地址）4、然后将下载后的 winutils.exe 放入解压后的 %HADOOP_HOME%\bin 目录下，将hadoop.dll 放入C:\Windows\System32 目录下5、新建Maven项目测试 <properties> <maven..

一台机器部署三台zookeeper：同理kafka也可以这样部署解压创建三个软连接，分别为 zookeeper，zookeeper1，zookeeper2[hadoop@hadoop001 app]$ lllrwxrwxrwx. 1 hadoop hadoop 25 Sep 1 03:37 zookeeper -> zookeeper-3.4.5-cdh5.7.0/drwxr...

首先，将hive-site.xml copy到spark/conf目录下spark shell和spark sql：指定mysql驱动包位置，--jars只会在executor端读取到，driver-class-path可以在driver端读取到spark-shell/spark-sql --master local[2] --jars ~/lib/mysql-connector-java-...

web页面激活的时候夯住了，可以使用以下方案进行api激活第一步：查看版本[root@hadoop001 lib]# curl -u admin:admin -XGET http://hadoop001:7180/api/versionv19第二步：查看集群名称，取name字段的值[root@hadoop001 lib]# curl -u admin:admin -XGET http...

环境： 阿里云三台：centos7.2 hadoop001 hadoop002 hadoop003上传所需要的安装包到hadoop001 [root@hadoop001 ~]# ll total 3605076-rw-r--r-- 1 root root 2127506677 Oct 19 00:00 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel-rw-r...

不包含依赖jar包该方法打包的jar，不包含依赖的jar包，也没有指定入口类。<build> <plugins> <plugin> <!-- 指定项目编译时的java版本和编码方式 --> <groupId>org.apache.maven.plugins<...

hive自定义函数：UDF :User-Defined Function （用户自定义函数）一进一出UDAF : User-Defined Aggregation Function（用户自定义聚合函数） 多进一出UDTF : User-Defined Table-Generating Function（用户自定义表生成函数）一进多出这里重点说一下自定义UDF的使用：因为在使用hive清洗...

编译需要依赖：1.scala 下载安装2.maven 下载安装，修改maven的仓库地址3.git yum安装如果使用maven编译的话最后不会生成tar.gz包，所以我们使用以下方式:编译命令：（--name参数是写上你的hadoop的版本，-Dhadoop.version写上你的hadoop版本,此方式默认的scala版本是2.11.8）./dev/make-distribu...

项目架构：idea创建sb项目：至此，sb项目构建完毕，找到程序入口，测试成功！搭建nginx环境：1，安装c++依赖cd /etc/yum.repos.drm -rf *上传 CentOS6-Base-163.repo 文件---->/etc/yum.repos.dyum clean allyum makecacheyum -y install gcc pcre...

1.Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=yoohhwz, access=EXECUTE, inode="/tmp/hadoop-yarn":hadoop:supergroup:drwx------解决方案：在main方法首行加上...

##直接粘代码public class HDFSTest {public static final String HDFS_PATH="hdfs://hadoop001:9000";public static final String HADOOP_NAME="hadoop";Configuration configuration=null;FileSystem fs=null;@B...

环境：hadoop001hadoop002hadoop003三台机器，在hadoop001机器上远程启动hadoop002机器的zookeeper时候无法找到java环境，不能远程启动hadoop002机器上的zookeeper[hadoop@hadoop001 ~]$ ssh hadoop002 ${ZOOKEEPER_HOME}/bin/zkServer.sh startJMX e...

awk:[hadoop@hadoop001 script]$ cat awk.log张三,李四,王五北京,上海,深圳‘18’,20,161.取出第一列[hadoop@hadoop001 script]$ cat awk.log | awk -F ‘,’ ‘{print $1}’张三北京‘18’2.取出第一列，第三列[hadoop@hadoop001 script]$ cat ...

shell的两种执行方式：1.使用./ 脚本名执行chmod u+x shell脚本名–给当前用户一个可执行权限，如果别的用户需要执行权限，可以给其它用户可执行的权限，然后使用 ./shell脚本名 执行该脚本2.sh shell脚本名shell的debug模式：1.sh -x shelll脚本名2.在 脚本中 #!/bin/bash -x ，然后使用./shell脚本名执行shel...

环境：阿里云三台：centos7.2hadoop-2.6.0-cdh5.15.1.tar.gzjdk-8u45-linux-x64.gzzookeeper-3.4.6.tar.gz先在三台机器上分别创建一个hadoop用户，并切换至hadoop用户[root@hadoop001 ~]# useradd hadoop[root@hadoop002 ~]# useradd hadoop...

需求分析：求各个区域下最受欢迎的产品的TOP 3假设我们mysql上存放了两表，一张city_info城市信息表，一张product_info产品信息表city_info:city_id 城市idcity_name 城市名字area 区域信息(华东、华北、华南、华中这些)product_info：product_id 产品idproduct_name 产品名称extend_inf...

Sqoop：一个hdfs(或者说hive，hbase)和关系型数据库(本文以mysql为例)交互的工具，可以将hdfs上面的数据导出到关系型数据库(如mysql)，也可以将关系型数据库(mysql)导入到hdfs上，导入导出都是针对hdfs来说的。Sqoop搭建：1.下载与cdh对应版本的sqoop版本，然后解压，改名或者创建软连接[hadoop@hadoop001 software]$ ...

一、分区概念：分区最主要的目的:实现快速查询为什么要创建分区：单个表数据量越来越大的时候，在Hive select查询中一般会扫描整个表内容(暴力扫描)，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。(1)、Hive的分区和mysql的分区差异：mysql分区是将表中的字段拿来直接作为分区字段，而hive的分区则是分区字段不在...