- 博客(9)
- 收藏
- 关注
RSS订阅原创 MapReduce（分布式技术框架）
MapReduce组件组成Client，JobTracker，TaskTracker和TaskMapReduce架构图图片截取来源：Hadoop技术内幕：深入解析MapReduce架构设计与实现原理Client：用户编写的MapReduce程序通过Client提交到JobTracker端；一个MapReduce程序可对应若干个作业，每个作业会被分解成若干个Map/Redu...
2019-11-05 13:46:08
373
原创 HDFS（分布式文件系统）的架构
HDFS的组件：Client，NameNode，Seconday NameNode，DataNoteHDFS的架构图：图片截取来源：Hadoop技术内幕：深入解析MapReduce架构设计与实现原理HDFS的组件流程详解：Client:通过与NameNode和DataNode交互访问HDFS文件，POSIX系统接口提供给用户。NameNode:负责HDFS的目录树与元数...
2019-11-05 11:03:03
421
1
原创 RocketMQ 操作命令
查看Topic列表命令:sh mqadmin topicList -n 127.0.0.1:9876删除Topic命令:sh mqadmin deleteTopic -n 127.0.0.1:9876 -c MqCluster -t collect_topic创建topicsh mqadmin updateTopic -n 127.0.0.1:9876 -c QKMqClust...
2018-08-24 11:45:23
411
原创 azkaban 报Error Chunking during uploading files to db
azkaban上传文件报异常:2018-07-31 17:37:36 INFO ProjectManagerServlet:1794 - Installation Failed.azkaban.project.ProjectManagerException: Error Chunking during uploading files to db... at azkaban...
2018-07-31 17:57:30
1220
原创 Azkaban hdfs plugin 配置
相关服务azkaban-web-server/opt/soft/azkaban/azkaban-web-server创建plugins/viewer目录bin conf currentpid keystore lib plugins temp web 相关插件包 azkaban-hdfs-viewer-3.0.0.tar.gz解压到azkaban-web-s...
2018-07-30 17:55:13
2153
2
原创 2.Azkaban分布式部署之azkaban-exec-server
相关包文件: azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz解压重命名为:azkaban-exec-server一: azkaban.properties相关的配置步骤①,添加# Set databasesdatabase.type=mysqlmysql.port=3306mysql.host=172.16.0.58mysql.datab...
2018-07-30 16:28:53
1495
原创 1.Azkaban分布式部署之azkaban-web-server
相关包文件: azkaban-web-server-0.1.0-SNAPSHOT.tar.gz解压重命名为: azkaban-web-server将azkaban-solo-server-0.1.0-SNAPSHOT/conf 拷贝到 azkaban-web-server修改 /opt/soft/azkaban_/azkaban-web-server/conf/azkaban.prop...
2018-07-30 15:48:29
1698
原创 Azkaban源码编译
使用git下载源码git clone https://github.com/azkaban/azkaban.gitgit clone https://github.com/azkaban/azkaban-plugins.git得到两个文件夹:编译azkaban,进入目录 cd azkaban输入命令编译: ./gradlew distTar -x test直到出现:BUIL...
2018-07-25 13:51:32
1091
原创 Spark2.3.0 报 io.netty.buffer.PooledByteBufAllocator.metric
运行异常:Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric; at org.apache.spark.network.util.NettyM...
2018-07-19 10:44:00
2359
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人