2020年03月_Zsigner

原创【KAFKA】kafka可视化工具kafkaTool 免费下载

【资源是免费的，官网可下载，可是官网下载的网络实在是太慢了有时候还会断线，我也是花了很长时间才下载下来的，提供给大家一个方便】符合kafka version 0.11+mac 版：链接:https://pan.baidu.com/s/1q6qKrEbaDGukvqHLomrQdg 密码:qqy2windows 64bit 版：链接:https://pan.baidu.com/s/...

2020-03-20 11:09:26 8519 7

转载 HBase Client配置参数说明

推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后查阅https://www.cnblogs.com/zhongxun/articles/6485919.htmlHbase Client 参数说明hbase.rpc.timeout 默认值为60000ms，即1min。该参数表示一次RPC请求的超时时间。如果某次RPC时间超过该值，客户端就会主动关闭socket。服务...

2020-03-25 17:22:43 914

原创【SQOOP】sqoop：Exception: org.apache.sqoop.common.SqoopException Message: DRIVER_0002:Given job

执行sqoop job报错：Caused by: Exception: org.apache.sqoop.common.SqoopException Message: DRIVER_0002:Given job is already running - Job with name mysql2hdfssqoop:000> start job -n mysql2hdfsExcept...

2020-03-24 15:21:58 866

原创【REDIS】Redis 使用记录

1、进入bin目录，连接远程客户端shell命令，这里是windows版，linux同只是exe变shredis-cli.exe -h 127.0.0.1 -p 63792、查看所有key命令keys * //查询所有keykeys test* //模糊查询test_1,test13、查看key 的类型TYPE test结果是有序集合：zset4、查看所有数据...

2020-03-20 16:51:05 129

原创【AZKABAN】java.lang.RuntimeException: azkaban.jobExecutor.utils.process.ProcessFailureException

错误日志：java.lang.RuntimeException: azkaban.jobExecutor.utils.process.ProcessFailureException: Process exited with code 1 at azkaban.jobExecutor.ProcessJob.run(ProcessJob.java:305) at azkaban.execap...

2020-03-19 18:24:02 5606

转载 MAC下Kafka安装和启动

推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后查阅https://www.jianshu.com/p/dd2578d47ff6Step1：下载Kafkabrew install kafka 因为我已经安装了下图只是为了演示image.png安装的配置文件位置/usr/local/etc/kafka/server.propertie...

2020-03-19 17:53:25 261

转载 Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found

推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后查阅1、https://www.pianshen.com/article/1164398943/2、https://www.jianshu.com/p/5a3f316980421、Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors...

2020-03-17 17:57:53 2282

转载 Azkaban四个应用案例

推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后查阅https://www.jianshu.com/p/9d5d72df2de8Azkaban四个应用案例Azkaba内置的任务类型支持command、java案例一（单个job）创建job描述文件#command.jobtype=command ...

2020-03-17 17:45:01 331

转载 Azkaban安装部署及启动

why：一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行azkaban两个服务模式安装所需软件：Azkaban Web服务安装包azkaban-web-server-0.1.0-SN...

2020-03-17 17:42:47 329

转载 Spark启动时的master参数以及Spark的部署方式

推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后查阅https://www.jianshu.com/p/aaac505908dd我们在初始化SparkConf时，或者提交Spark任务时，都会有master参数需要设置，如下：conf = SparkConf().setAppName(appName).setMaster(master)sc = SparkConte...

2020-03-13 00:13:18 337

原创【SPARK】CDH SPARK java.lang.NoClassDefFoundError: org/slf4j/Logger

进入spark路径下的bin目录，执行./spark-shell报错：./spark-shellError: A JNI error has occurred, please check your installation and try againException in thread "main" java.lang.NoClassDefFoundError: org/slf4j...

2020-03-12 22:17:36 3206 4

转载 CDH升级Spark2异常java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

建议大家还是去原问博客阅读，样式也好看阅读更方便，本人转载仅为个人查阅https://blog.csdn.net/mlwise/article/details/104652381最近为了适配客户版本，搭建了CDH5.16版本的数据数据环境。而默认的Spark是1.6版本的，为配合客户需要升级成Spark2，由于机器资源有限制，先把Spark1.6删除了，下载SPARK2-2.1.0.clo...

2020-03-12 22:03:52 1295

转载 Apache Flink：客户端操作的 5 种模式

推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后查阅https://segmentfault.com/a/1190000020300020?utm_source=tag-newest1.环境说明在前面几期的课程里面讲过了 Flink 开发环境的搭建和应用的部署以及运行，今天的课程主要是讲 Flink 的客户端操作。本次讲解以实际操作为主。这次课程是基于社区的 Flink...

2020-03-12 11:43:15 998

原创【HIVE】Hive sql 语句记录

1、hive 格式化时间戳 1.1 时间戳10位单位为（秒）time = 1583927782select from_unixtime(time,'yyyy-MM-dd HH:mm:ss') date from log limit 10;1.2 时间戳为13位单位为（毫秒）time = 1583927782469；select from_unixtime(ca...

2020-03-11 22:14:03 313

转载 HBase Shell 命令

我们现在通过下列步骤来展示如何使用DDL命令来管理HBASE表. 在客户机节点上执行以下命仅启动HBASE SHELL 1 #hbase shell 在HBASE SHELL中使用create命令创建一张带有一个列族(f1)的表(t1) 1 hbase(main):001...

2020-03-11 18:13:12 249

原创【SQOOP】mac 安装sqoop2

1、官网地址：http://sqoop.apache.org/ 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/解压：tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz -C /usr/local2、配置环境变量，我这边修改的是 vim ~/.bash_profile...

2020-03-07 17:27:21 254

原创【DBEAVER】DBeaver 工具连接hive 可视化

连接如图，自己搭建的hive没设置的话用户名跟密码可以不用填：异常报错：1、User: xxxis not allowed to impersonate root),xxx是自己的电脑名字，这个不重要解决思路，进入hadoop 目录/etc/hadoop/ 编辑core-site.xml ，在配置里添加<property><name>h...

2020-03-07 15:10:11 968

转载 idea运行map Reduce 时报：错误: 找不到或无法加载主类

问题描述：使用idea编辑器，使用maven构建hadoop的mapreduce项目，在运行的时候提示报错：错误: 找不到或无法加载主类 com.hnxy.bin.JobRunner错误排查：1 可能是java的环境变量错误解决方案：查看java的环境变量是否正确2 可能是未能成功编译：解决方案：菜单---》Build---》Rebuild Prodject3 ...

2020-03-06 17:02:11 1181

转载解决mysql8报错：ERROR 1410 (42000): You are not allowed to create a user with GRANT

1. 今天刚装了mysql8.0.13，试着分配几个账号和权限，结果报错：2. 查资料得知mysql8的分配权限不能带密码隐士创建账号了，要先创建账号再设置权限输入命令：Grant all privileges on test.* to 'test'@'%';又报错：You are not allowed to create a user with GRANT ；不允许使用...

2020-03-03 15:36:34 865

转载 Mac dmg or brew 安装mysql，完全删除mysql

删除文件sudo rm /usr/local/mysqlsudo rm -rf /usr/local/mysql*sudo rm -rf /Library/StartupItems/MySQLCOMsudo rm -rf /Library/PreferencePanes/My*rm -rf ~/Library/PreferencePanes/My*sudo rm -rf /Libr...

2020-03-03 14:58:27 1024

原创【MYSQL】Mysql 8.0.19 Macos 版本

错误：mysql> set password for root@localhost=password('Mysql123456')； -> ;ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server vers...

2020-03-03 14:52:35 717

转载解决Homebrew下载更新极慢的问题【亲测可用】

近期使用Homebrew去下载安装软件的时候总是卡在update阶段，时间非常久，难以忍受。记录一下解决方法，症状使用Homebrew安装软件的时候一直卡在Update阶段。同时发现从github.com下载文件也极度缓慢（几十 KB/s）。问题定位使用brew update --verbose观察update过程： 123456789101112...

2020-03-02 18:22:50 2145 2

原创【HOMEBREW】Homebrew安装和卸载

安装命令brew install mysql查看版本命令brew info mysql删除命令brew remove mysqlbrew cleanuplaunchctl unload -w ~/Library/LaunchAgents/homebrew.mxcl.mysql.plistrm -rf ~/Library/LaunchAgents/homebrew.m...

2020-03-02 17:23:44 1059

Zsigner的博客