- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 hadoop. 日志汇总
Hadoop的日志有很多种，很多初学者往往遇到错而不知道怎么办，其实这时候就应该去看看日志里面的输出，这样往往可以定位到错误。Hadoop的日志大致可以分为两类：（1）、Hadoop系统服务输出的日志；（2）、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的，其中有些地方在Hadoop 1.x中是没有的，请周知。 一、H...
2019-01-30 22:22:22
361
转载 hadoop2.0的datanode多存储硬盘设置数据副本存放策略
集群使用4块硬盘，目前集群中部分节点盘disk1使用率已经超90%，后期可能会出现问题。在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式：第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeChoosi...
2019-01-30 21:58:18
327
转载 hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息(Locations)
在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。fsck命令必须由HDFS超级用户来执行，普通用户无权限。 [hadoop@dev ~]$ hdfs fsck Usage: DFSck [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-fil...
2019-01-30 21:51:21
863
转载 Prometheus时序数据库
Prometheus时序数据库 一、Prometheus1、Prometheus安装1）源码安装prometheus安装包最新版本下载地址：https://prometheus.io/download/wget https://github.com/prometheus/prometheus/releases/download/v2.3.2/prometheus-2....
2019-01-30 21:39:25
16097
转载 Prometheus自定义监控部署
参考官方文档：https://prometheus.io/docs/ Prometheus是一个开源的服务监控系统，它通过HTTP协议从远程的机器收集数据并存储在本地的时序数据库上。 Prometheus通过安装在远程机器上的exporter插件来收集监控数据，这里要用到的是node_exporter，nginx-module-vts模块，nginx-vts-exporter组件：...
2019-01-29 19:26:54
7649
转载 [Hadoop shell命令]--处理hdfs上错误的block块并修复
情景：运行Spark程序出现报错1、报错信息：17/05/09 14:30:58 WARN scheduler.TaskSetManager: Lost task 28162.1 in stage 0.0 (TID 30490, 127.0.0.1): java.io.IOException: Cannot obtain block length for LocatedBlock{BP-20...
2019-01-29 15:59:07
1004
转载 prometheus+grafana 监控hadoop、yarn
主要是以jmx_exporter、prometheus为主导进行对hadoop的metrics进行收集，通过grafana进行展示、预警。1、安装jmx_exporter以及配置文件1、通过https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaage...
2019-01-29 09:15:03
4747
转载 Presto实战
Presto实战一、Presto简介1、PRESTO是什么？Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。2、它可以做什么？Presto支持在线数据查询，包括Hive, Cassandra, 关系数据库以及专有数据存储。...
2019-01-21 23:11:21
191
转载 Presto简介
Presto简介不是什么虽然Presto可以解析SQL，但它不是一个标准的数据库。不是MySQL、PostgreSQL或者Oracle的代替品，也不能用来处理在线事务（OLTP）是什么Presto通过使用分布式查询，可以快速高效的完成海量数据的查询。作为Hive和Pig的替代者，Presto不仅能访问HDFS，也能访问不同的数据源，包括：RDBMS和其他数据源（如Cassandra...
2019-01-21 23:10:04
308
转载 用Prometheus细化Nginx监控
国内用Nginx的比较多，Nginx的监控比较老的方案可能是通过跑脚本定期收集nginx的status模块的数据，或者监控nginx的日志；后来阿里的tengine在国内开始流行，于是诞生了很多不错的lua模块;但是这些监控方案在有新的监控需求的时候，可能就需要再修改脚本或者更改nginx conf配置，有时候不是特别的方便。用Prometheus进行nginx的监控可以自动的对相关server_...
2019-01-21 22:06:43
1288
转载 Nginx性能监控与调优
ngx_http_stub_status监控连接信息nginx现已成为目前使用最广泛的web服务器和反向代理服务器，我们线上的Tomcat服务器一般都会由nginx进行代理，以此实现负载均衡的效果。既然nginx被应用得那么广泛，我们自然也得学习如何去对nginx做性能监控。本小节将介绍如何使用nginx的ngx_http_stub_status模块来对连接信息进行监控。本文默认读者有ngin...
2019-01-21 21:50:37
4296
转载 nginx强制使用https访问(http跳转到https)
需求简介基于nginx搭建了一个https访问的虚拟主机，监听的域名是test.com，但是很多用户不清楚https和http的区别，会很容易敲成http://test.com，这时会报出404错误，所以我需要做基于test.com域名的http向https的强制跳转我总结了三种方式，跟大家共享一下 nginx的rewrite方法 思路这应该是大家最容易想到的方法...
2019-01-17 13:09:33
32148
转载 利用ambari rest api实现集群监控及短信告警
短信接口请自行实现此处主要参考:https://github.com/apache/ambari/blob/trunk/ambari-server/docs/api/v1/alerts.md# -*- coding:utf-8 -*-import datetimeimport sysimport requests'''修改编码字符集为utf-8'''default_encod...
2019-01-16 09:17:51
1710
原创 hive llap 启动配置踩坑 && Presto
hive llap巨坑，前段时间在研究，一直启动不成功。关键是几个空间参数的配置，只要配错了，就会出现各种奇怪的问题，日志的错误提示很少而且很模糊，官方的文档又不够明确，发现问题很难定位。总之就是很坑。yarn队列配置要为llap分配一条队列，这条队列有几个要注意的地方. 最大容量和最少容量必须相等，容量一定要足够，即大于hive的hive.llap.daemon.yarn.con...
2019-01-12 19:19:14
1391
转载 Hadoop的kerberos的实践部署
Hadoop的认证机制详细介绍请参考Hadoop安全机制研究hadoop-kerberos介绍简单来说,没有做kerberos认证的Hadoop，只要有client端就能够连接上。而且，通过一个有root的权限的内网机器，通过创建对应的linux用户，就能够得到Hadoop集群上对应的权限。而实行Kerberos后，任意机器的任意用户都必须现在Kerberos的KDC中有记录，才允...
2019-01-08 23:07:01
1754
转载 YARN、Spark、Hive使用kerberos
本文记录YARN、Spark、Hive各服务配置使用kerberos的过程。我的环境：三台服务器，分别命名为zelda1、zelda2、zelda3 ubuntu 14.04 hadoop 2.7.2 spark 2.0/1.6.1 YARN认证目的是将YARN接入到kerberos集群里，使得：RM和NM之间能互相认证，避免混进去恶意服务； 其他提交到YARN上的JOB...
2019-01-08 23:03:46
2180
转载 ranger权限管理、rang kms 秘钥管理、kerberos认证服务整合应用(ambari 平台上安装)
一、ranger权限管理安装 ranger安装参考：https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_security/content/ch03s01s03s01.html 二、rang kms 秘钥管理安装 ranger kms安装参考：https://docs.hortonworks...
2019-01-08 22:58:58
1825
转载 使用 trash-cli 逃出 rm 命令误删除重要文件的阴影
今天是一个难忘的日子，当时本来想清除我们公司网站cms目录下面一些cdn推送网页后残留的垃圾文件，结果在执行rm -rf conten* 时打成了rm -rf conten *结果就悲剧了。cms目录下面的全部给删除了，网站首页的样式全没了，当时就傻了，网站直接挂升级页面，由于备份的也不全，只能把测试环境的拉一份，和php的同事慢慢改，虽然最好好了，但是给公司造成的影响挺严重的，我真是欲哭无泪...
2019-01-01 19:41:56
327
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人