A Vimer's World

Cogito, ergo sum.

Zookeeper服务开启jmx通过jconsole进行监控

配置 在./bin/zkServer.sh中添加开启jmx的命令如下: if [ "x$JMXLOCALONLY" = "x" ] then JMXLOCALONLY=false fi if [ &quo...

2018-03-30 17:01:47

阅读数 525

评论数 0

在github/gitlab上打一个pull的patch

梳理 比如这样一个请求(Merge Request): https://github.com/apache/spark/commit/c68ec4e6a1ed9ea13345c7705ea60ff4df7aec7b 在这个commit后面添加patch,并保存该patch文件 ...

2018-03-29 14:52:35

阅读数 448

评论数 0

HBase Master启动认证kerberos失败&问题解决

1. 问题复原 在kerberos环境下启动HBase时,包如下错误: 2018-03-29 11:59:12,828 INFO [main-SendThread(hadoop2497.jd.163.org:2181)] zookeeper.ClientCnxn: Socket connec...

2018-03-29 14:33:33

阅读数 574

评论数 0

基于Ambari 滚动、快速升级实现调研(内源版本)

背景 当前现状 当前的Ambari自身仍然不支持版本的升级,所以下一个版本NDP-3.3.0该如何升级存在着疑问: 比如说当前的NDP-3.2.0,如果猛犸上线新的的mammut 4.16对应的的NDP-3.3.0版本,该怎么操作? 或者在NDP-3.3.0版本中做了hadoop从2....

2018-03-28 17:02:39

阅读数 234

评论数 0

基于角色权限管理系统数据库表设计结构(常用电商客户管理后台)

表结构 用户表 各种角色用户基本信息表:客户、店主、管理员均使用本表; +---------------------+-------------+------+-----+---------------------+----------------------------...

2018-03-28 16:41:45

阅读数 3354

评论数 0

Ambari日常运维操作命令收集

Ambari REST API查询相关 获取集群配置信息:http://hzadg-mammut-platform1.server.163.org:8080/api/v1/clusters/cluster1?fields=Clusters/desired_configs 特定配置信息(clus...

2018-03-28 16:35:41

阅读数 552

评论数 0

Spark2.3.0之pyspark实现原理分析

背景 PySpark Performance Enhancements: [SPARK-22216][SPARK-21187] Significant improvements in python performance and interoperability by fast data ...

2018-03-06 16:15:18

阅读数 1329

评论数 0

Spark 2.3.0支持ORC Vectorized矢量化源码分析

Vectorized ORC Reader: [SPARK-16060] Adds support for new ORC reader that substantially improves the ORC scan throughput through vectorization (2-...

2018-03-05 22:22:32

阅读数 1112

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭