- 博客(50)
- 收藏
- 关注
RSS订阅原创 grafana+prometheus+hiveserver2(jmx_exporter+metrics)
grafana+prometheus+hiveserver2(jmx_exporter+metrics)
2024-02-07 16:17:44
984
原创 hive SQL优化
1、多次INSERT单次扫描表使用场景：--当需要多次从一张分区表查出某分区的数据放到一张新表时，下边SQL会多次扫描表。INSERT INTO temp_table_20201115 SELECT * FROM my_table WHERE dt ='2020-11-15';INSERT INTO temp_table_20201116 SELECT * FROM my_table WHERE dt ='2020-11-16';使用方法：--只用扫描一次表。FROM my_tableIN
2022-05-05 14:35:12
1790
原创 docker制作centos7-python的基础镜像
拉取一个centos镜像docker pull centos:7.6.1810运行镜像； a9955a724b02 是centos:7.6.1810 镜像IDdocker run -d -t -i a9955a724b02 bash将python的tar包复制到容器内； 95005a44bc4e 是运行的容器IDpython.tar包地址：https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgzdocker cp Python-3.6.
2022-04-08 15:21:42
1784
原创 hive参数调优
集群最优配置的最好方式是通过实验测试，然后衡量结果。普通配置--元数据连接超时set hive.metastore.client.socket.timeout=500;--指定MR任务运行队列set mapreduce.job.queuename=bigdata;--指定作业名称,如果脚本中有多个sql语句，那么你设定jobname后，所有的sql生成的job都会有同一个名字set mapred.job.name=jobname;并行化配置hive默认job是顺序进行的，一个HQL拆分成
2022-03-31 12:09:31
3523
原创 nginx service配置
[Unit]Description=The nginx HTTP and reverse proxy serverAfter=network.target remote-fs.target nss-lookup.target[Service]Type=forkingPIDFile=/export/servers/nginx/nginx.pidExecStartPre=/usr/bin/rm -f /export/servers/nginx/nginx.pidExecStartPre=/usr
2022-03-28 09:45:40
4329
原创 hive参数配置调优
参数设置方式1、配置文件 （全局有效）2、命令行参数（对 hive 启动实例有效）3、命令行参数声明 （对 hive 的连接 session 有效）作业设置set mapreduce.job.name=${fileName}_0; --作业名称set mapreduce.job.priorite=NORMAL; --作业优先级set mapreduce.job.queuename=default; --作业队列适当加大mapset mapreduce.input.fileinputform
2022-03-16 15:11:06
3219
原创 HDFS执行balance报错：hdfs balance java.io.IOException: Another Balancer is running.. Exiting
现象：1、大数据Hadoop集群，HDFS扩容后，为了使各节点数据均衡，执行balance操作。2、启动 hdfs balance 时，一直出现其他的balance在执行中，其实并没有执行。java.io.IOException: Another Balancer is running… Exiting …解决方法：网上的思路：①HDFS在运行Balancer的时候，会将运行Balancer的主机名写入到balancer.id这个文件里面，通过这个Mark File来检测Balancer是否运
2022-03-09 10:03:02
2782
原创 linux-centos7防火墙设置
firewalld：启动： systemctl start firewalld查看状态： systemctl status firewalld 停止：systemctl stop firewalld 禁用：systemctl disable firewalld
2022-03-02 10:06:43
116
原创 hive自定义UDF依赖第三方jar包
上传jar包到HDFS上hdfs dfs -put xxxx.jar /tmp/hive/创建永久函数：create function my_fun as 'com.test.TestUDF' using jar 'hdfs:///tmp/hive/xxxx.jar';创建临时函数（只对当前窗口的命令行可用）：create temporary function my_fun as 'com.test.TestUDF' using jar 'hdfs:///tmp/hive/xxxx.jar';
2022-02-23 09:59:47
3863
原创 hadoop调优-hdfs配置优化
配置文件hdfs-site.xml生产环境建议优化：<!-- 开启HDFS权限检查 --><property> <name>dfs.permissions.enabled</name> <value>true</value> </property> <!-- NN处理rpc请求的线程数，默认为10，通常设置20*log(n)，n为集群数量，100个节点的集群可设置为90 -->&
2022-02-22 13:59:35
532
原创 hadoop调优-HDFS集群数据不均衡处理hdfs balancer
查看当前的数据分布情况：hdfs dfsadmin -report现象一：集群上经常会增添新的DataNode节点，或者人为干预将数据的副本数降低或者增加。会造成datanode数据存储不均衡，一个datanode使用了70%，而有一个只使用了30%.解决：通过执行hadoop提供的balancer，来进行datanode之间数据balance。步骤：1、命令行设置宽带（如果在启动Hadoop集群前已优化该参数则不需要执行此步骤）参数：<!-- HDFS做负载均衡时使用的最大宽带，
2022-02-22 11:24:00
2182
原创 zookeeper连接数Too many connections from /10.00.00.00 - max is 60
报错：[myid:1] - WARN [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@211] - Too many connections from /10.00.00.00 - max is 60原因：Zookeeper配置文件zzo.cfg默认配置参数-maxClientCnxns=60ZooKeeper关于maxClientCnxns参数的官方解释：单个客户端与单台服务器之间的连接数的限制，是ip级别的，默
2022-02-21 14:50:30
4236
原创 vim快捷命令
光标移动^ 移动光标到行首$ 移动光标到行尾G 移动到末行1G 移动到首行50G 移动到50行H 移动到当前窗口的首行M 移动到当前窗口的中间位置L 移动光标到当前窗口的最后一行i 在当前光标处进行编辑I 在行首插入A 在行末插入a 在光标后插入编辑o 在当前行后插入一个新行O 在当前行前插入一个新行cw 替换从光标所在位置后到一个单词结尾的字符快捷键u 撤销你刚才做的动作ctrl+r 是恢复你刚才撤销的动作ctrl+b 类似于键盘上
2022-02-16 18:02:46
537
原创 spark运行失败The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=104
报错：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException): The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=1048576解决方法：修改配置文件 ，重启namenode，datanod
2022-02-16 17:41:53
1300
原创 大数据问题：Hadoop的web页面无法访问logs
记录一次大数据问题，征询解决方案。报错如下：HTTP ERROR 403Problem accessing /logs/. Reason:User yarn is unauthorized to access this page.Powered by Jetty://分析：1、有的说是权限问题，但是并没有用yarn用户启动Hadoop。2、还有查到不是超级用户，无法再web页面访问系统文件。...
2021-07-20 16:46:45
1136
1
原创 容器lambda集群（docker、kubectl ）运维命令
一、查看状态1、查看容器集群节点状态：在master节点执行：kubectl get nodes –o wide节点状态STATUS是ready则正常2、查看pods状态：kubectl get pods如下详细信息：kubectl get pods -n beta # -n :指定命名空间kubectl get pods --all-namespaces #获取所有命名空间的podkubectl get pods --selector name=redis #按selector名来查
2021-07-08 14:57:57
181
原创 docker实用命令
1、docker psdocker ps -adocker ps -grep2、docker logs#查看CONTAINER_ID的日志，显示最后10行docker logs -f --tail=10 CONTAINER_ID#查看CONTAINER_ID的日志，显示最近30分钟docker logs --since 30m CONTAINER_ID#查看CONTAINER_ID的日志，显示某时间段日志docker logs -t --since=“2018-02-08T13:23:37
2021-07-07 17:18:46
164
原创 Linux运维命令（大数据，持续更新）
Linux运维命令：一、防火墙：1、查看firewall服务状态：systemctl status firewalld出现Active: active (running)切高亮显示则表示是启动状态。出现 Active: inactive (dead)灰色表示停止，看单词也行。2、查看firewall的状态：firewall-cmd --state3、开启firewalld.service服务：service firewalld start重启：service firewalld restart
2021-07-07 13:56:14
351
原创 快速连接阿里云的MySQL！！！
一、准备工作：打开阿里云页面左边多功能键；找到自己购买的云服务器ECS和云数据库RDS版。二、进入云数据库RDS版进入实例：添加账号：数据安全性：添加云服务ECS的内网IP到白名单：三、进入云服务器ECS进入远程连接：登录：输入命令安装MySQL服务：复制内网地址：输入命令登录：四、使用Navicat连接阿里云数据库1.打开Navicat新建连接；2.Navicat可以直接选择阿里云云数据库MySQL版；3.先点击SSH；复制公网IP：填写SSH
2020-06-18 22:00:29
671
原创 python脚本开发常用
一、启动：1.后台启动不打印：nohup python test.py > /dev/null 2>&1 &2.启动打印输出：python test.py >test.log 2>&1 &3.echo清空log：echo ‘’>test.log二、停止1.查询正则运行的进程：ps -ef |grep test.py2.一键杀死同一命令的进程：ps -ef |grep test.py |grep -v grep |cut -c
2020-06-18 14:15:11
153
原创 Navicat Premium 15快速安装！！
内含（安装包、注册机、步骤）链接：https://pan.baidu.com/s/18wEE59CVPrqTbAFWqOxuJg提取码：95k2就是简单粗暴！
2020-05-14 15:05:53
1311
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人