- 博客(8)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Zookeeper服务开启jmx通过jconsole进行监控
配置在./bin/zkServer.sh中添加开启jmx的命令如下：if [ "x$JMXLOCALONLY" = "x" ]then JMXLOCALONLY=falsefiif [ "x$JMXDISABLE" = "x" ]then echo "JMX enabled by default" >&2 # for some reaso
2018-03-30 17:01:47
2097
原创 在github/gitlab上打一个pull的patch
梳理比如这样一个请求(Merge Request): https://github.com/apache/spark/commit/c68ec4e6a1ed9ea13345c7705ea60ff4df7aec7b在这个commit后面添加patch，并保存该patch文件 https://github.com/apache/spark/commit/c68ec4e6a1e...
2018-03-29 14:52:35
2247
原创 HBase Master启动认证kerberos失败&问题解决
1. 问题复原在kerberos环境下启动HBase时，包如下错误：2018-03-29 11:59:12,828 INFO [main-SendThread(hadoop2497.jd.163.org:2181)] zookeeper.ClientCnxn: Socket connection established to hadoop2497.jd.163.org/10.196.67...
2018-03-29 14:33:33
2370
原创 基于Ambari 滚动、快速升级实现调研(内源版本)
背景当前现状当前的Ambari自身仍然不支持版本的升级，所以下一个版本NDP-3.3.0该如何升级存在着疑问：比如说当前的NDP-3.2.0，如果猛犸上线新的的mammut 4.16对应的的NDP-3.3.0版本，该怎么操作？或者在NDP-3.3.0版本中做了hadoop从2.7.3到2.8.2的升级，这个时候该如何操作？尽管内部开发了支持包替换的升级方式，但该方法只能做...
2018-03-28 17:02:39
1218
原创 基于角色权限管理系统数据库表设计结构(常用电商客户管理后台)
表结构用户表 各种角色用户基本信息表：客户、店主、管理员均使用本表； +---------------------+-------------+------+-----+---------------------+-----------------------------+| Field | Type | Null | Key...
2018-03-28 16:41:45
7460
原创 Ambari日常运维操作命令收集
Ambari REST API查询相关获取集群配置信息：http://hzadg-mammut-platform1.server.163.org:8080/api/v1/clusters/cluster1?fields=Clusters/desired_configs特定配置信息(cluster-env)：http://hzadg-mammut-platform1.server.163.o...
2018-03-28 16:35:41
1757
原创 Spark2.3.0之pyspark实现原理分析
背景 PySpark Performance Enhancements: [SPARK-22216][SPARK-21187] Significant improvements in python performance and interoperability by fast data serialization and vectorized execution.SPARK-222...
2018-03-06 16:15:18
2533
原创 Spark 2.3.0支持ORC Vectorized矢量化源码分析
Vectorized ORC Reader: [SPARK-16060] Adds support for new ORC reader that substantially improves the ORC scan throughput through vectorization (2-5x). To enable the reader, users can set spark.sql....
2018-03-05 22:22:32
2978
Professional Java Server Programming（ j2Ee Edition）
2013-06-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人