- 博客(8)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 Determine HDP Memory Configuration Settings
Two methods can be used to determine YARN and MapReduce memory configuration settings: Use the HDP Utility Script to calculate memory configuration settings Manually calculate YARN and MapRedu...
2018-11-29 11:58:28
650
1
原创 服务端口无法访问问题
通常我们在linux启动一个监听进程，在其他服务器链接此端口不通，第一反应想到的可能是防火墙没关centos7systemctl stop firewalld.servicecentos6.xservice iptables stop关闭防火墙后，这个端口还是没办法访问，这个时候你就需要看看进程绑定的地址了，[qun@cluster-master hadoop]$ netstat ...
2018-11-27 13:26:47
7508
原创 Hadoop 元数据备份恢复
早先写过一篇Hadoop HA 搭建bolg，为了实现hadoop集群的高可用需要引入Zookeeper和Journal；其实hadoop集群最重要的是hdfs元数据；只要保证hdfs 元数据不丢失就行；进程挂了，重启即可；但现在问题来了，怎样保证hdfs元数据不丢失或者说尽可能少的丢失？在了解这个问题前，先来看下元数据是什么[qun@cluster-master name]$ pwd/hom...
2018-11-26 17:23:53
2281
原创 virtual Box host-only配置上网
之前虚拟机网络配置一致用的是桥接模式，奈何公司ip资源限制，无奈转向host-only方式在安装VirtualBox的时候会自动创建一个虚拟网卡，如下图虚拟机使用此网卡本身是不能连外网的，需要通过宿主机的物理网卡联网，具体就是点击物理网卡属性，点击共享给VirtralBox Host-only网卡查看虚拟机网卡IP配置接下来配置下虚拟机，首先配置虚拟机使用host-on...
2018-11-25 12:11:42
972
原创 presto代理层实现
用过presto的同学都知道，客服端访问presto集群，其实是通过http协议访问的presto的coordinator节点；大多数情况是没啥问题；可是服务器直接暴露给用户，或多或少还是有些安全顾虑；所以我们在客户端和presto集群之间加了一层访问代理，如下图所示所有的用户请求通过代理访问presto集群；过程如下1.客户端可以使用jdbc，Python等方式访问代理，使用方式和直接访问...
2018-11-22 10:25:51
1412
3
原创 sql中时间宏替换
之前做了一个sql任务调度平台，sql根据配置的cron表达式执行；调度平台需要灵活的根据当前时间去计算并替换sql中特殊的时间宏；举个例子select * from order a join order order_item b on a.id=b.order_id and a.day = ${date-1,yyyyMMdd} and b.day=${date- 1,yyyyMMdd} ...
2018-11-19 22:26:31
2018
原创 页面埋点
对一个网站进行流量分析，首先要做的就是数据采集；而采集的方式大至两种方式nginx +lua 日志文件后台http get服务，实时push 到kafka对于网站前端来说，数据上报通常有如下几种形式直接向后台发送get请求，伪装成js或者图片请求http://click.dangdang.com/page_tracker.php?m_id=&o_id=&region_...
2018-11-19 17:38:39
4296
原创 数据可视化-Echars
之前数据可视化工具用的是zepplin，功能强大但也伴随着各种问题内存溢出；每个notebook都会启动一个后台进程，内存消耗巨大，用户多了，时不时就会卡死，导致需要重启服务端改造升级困难，很多功能用不上且冗余，而且工具略显笨重数据可视化功能有限虽然有很多问题，但zepplin不失为一个优秀的可视化工具；在项目早期，简单便捷的部署，给我们减少了不少的工作量；但如果只是为了数据可视化，没...
2018-11-11 21:06:48
4037
FastDFS安装文档以及测试类，redis单点故障解决方案之keepalived
2013-05-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人