Hadoop
文章平均质量分 53
Hadoop生态
不会吐丝的蜘蛛侠。
我是蜘蛛侠,喜欢分享,热爱奉献,喜欢大数据,从毕业小白到一步步的提升,学习永不止步。
展开
-
grafana+prometheus+hiveserver2(jmx_exporter+metrics)
grafana+prometheus+hiveserver2(jmx_exporter+metrics)原创 2024-02-07 16:17:44 · 984 阅读 · 0 评论 -
高性能hbase配置
hbase原创 2022-10-10 14:53:07 · 421 阅读 · 0 评论 -
Linux运维命令(大数据,持续更新)
Linux运维命令:一、防火墙:1、查看firewall服务状态:systemctl status firewalld出现Active: active (running)切高亮显示则表示是启动状态。出现 Active: inactive (dead)灰色表示停止,看单词也行。2、查看firewall的状态:firewall-cmd --state3、开启firewalld.service服务:service firewalld start重启:service firewalld restart原创 2021-07-07 13:56:14 · 351 阅读 · 0 评论 -
hive2.3.2配置(带kerberos)
hive配置调优原创 2022-08-09 14:59:28 · 690 阅读 · 0 评论 -
hbase1.2配置(带kerberos认证)
hbase配置原创 2022-08-09 14:51:11 · 1309 阅读 · 0 评论 -
Hadoop2.7配置
Hadoop2.7配置原创 2022-08-09 14:42:53 · 709 阅读 · 0 评论 -
hive参数调优
集群最优配置的最好方式是通过实验测试,然后衡量结果。普通配置--元数据连接超时set hive.metastore.client.socket.timeout=500;--指定MR任务运行队列set mapreduce.job.queuename=bigdata;--指定作业名称,如果脚本中有多个sql语句,那么你设定jobname后,所有的sql生成的job都会有同一个名字set mapred.job.name=jobname;并行化配置hive默认job是顺序进行的,一个HQL拆分成原创 2022-03-31 12:09:31 · 3523 阅读 · 0 评论 -
HDFS执行balance报错:hdfs balance java.io.IOException: Another Balancer is running.. Exiting
现象:1、大数据Hadoop集群,HDFS扩容后,为了使各节点数据均衡,执行balance操作。2、启动 hdfs balance 时,一直出现其他的balance在执行中,其实并没有执行。java.io.IOException: Another Balancer is running… Exiting …解决方法:网上的思路:①HDFS在运行Balancer的时候,会将运行Balancer的主机名写入到balancer.id这个文件里面,通过这个Mark File来检测Balancer是否运原创 2022-03-09 10:03:02 · 2782 阅读 · 0 评论 -
hadoop调优-hdfs配置优化
配置文件hdfs-site.xml生产环境建议优化:<!-- 开启HDFS权限检查 --><property> <name>dfs.permissions.enabled</name> <value>true</value> </property> <!-- NN处理rpc请求的线程数,默认为10,通常设置20*log(n),n为集群数量,100个节点的集群可设置为90 -->&原创 2022-02-22 13:59:35 · 532 阅读 · 0 评论 -
hadoop调优-HDFS集群数据不均衡处理hdfs balancer
查看当前的数据分布情况:hdfs dfsadmin -report现象一:集群上经常会增添新的DataNode节点,或者人为干预将数据的副本数降低或者增加。会造成datanode数据存储不均衡,一个datanode使用了70%,而有一个只使用了30%.解决:通过执行hadoop提供的balancer,来进行datanode之间数据balance。步骤:1、命令行设置宽带(如果在启动Hadoop集群前已优化该参数则不需要执行此步骤)参数:<!-- HDFS做负载均衡时使用的最大宽带,原创 2022-02-22 11:24:00 · 2182 阅读 · 0 评论 -
zookeeper连接数Too many connections from /10.00.00.00 - max is 60
报错:[myid:1] - WARN [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@211] - Too many connections from /10.00.00.00 - max is 60原因:Zookeeper配置文件zzo.cfg默认配置参数-maxClientCnxns=60ZooKeeper关于maxClientCnxns参数的官方解释:单个客户端与单台服务器之间的连接数的限制,是ip级别的,默原创 2022-02-21 14:50:30 · 4236 阅读 · 0 评论 -
spark运行失败The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=104
报错:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException): The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=1048576解决方法:修改配置文件 ,重启namenode,datanod原创 2022-02-16 17:41:53 · 1300 阅读 · 0 评论 -
大数据问题:Hadoop的web页面无法访问logs
记录一次大数据问题,征询解决方案。报错如下:HTTP ERROR 403Problem accessing /logs/. Reason:User yarn is unauthorized to access this page.Powered by Jetty://分析:1、有的说是权限问题,但是并没有用yarn用户启动Hadoop。2、还有查到不是超级用户,无法再web页面访问系统文件。...原创 2021-07-20 16:46:45 · 1136 阅读 · 1 评论 -
JDBC:Java连接Phoenix代码
package com.fcf;import java.sql.*;public class App { public static Connection connection; public static PreparedStatement ps; public static ResultSet resultSet; public static void ma...原创 2019-10-28 17:17:41 · 2674 阅读 · 2 评论 -
Hbase 理论知识
–HBase的应用场景:需对数据进行随机读操作或者随机写操作; 大数据上高并发操作,比如每秒对PB级数据进行上千次操作; 读写访问均是非常简单的操作。1.HBase概述:HBase是一个基于HDFS的面向列的分布式数据库,源于Google的BigTable论文;HBase是Apache Hadoop生态系统中的重要组成部分,主要用于海量结构化数据存储;HBase内部管理的文件全部...原创 2019-10-27 16:18:59 · 284 阅读 · 0 评论 -
SparkSQL DSL语法大全
object DataSetDemo1 { def main(args: Array[String]): Unit = { val session = SparkSession.builder() .master("local") .appName(this.getClass.getSimpleName) .getOrCreate() imp...原创 2020-02-06 11:32:47 · 2119 阅读 · 0 评论 -
Hbase shell 基本命令大全
–查询状态 status / version(查询版本号) / whoami(查询当前用户)1 active master :一个有效的master0 backup masters:0个备份的masters3 servers : 有2个HRegionServer0 dead:没有挂掉的0.6667 average load:平均负荷1.查看表list (查看表列表)desc...原创 2019-10-27 15:44:13 · 377 阅读 · 0 评论