qq_36470475的博客

原创 bash调试技巧

x （xtrace 或 execution trace 简称） - 告诉 Shell 在终端显示所有执行的命令和它们的参数。这个选项是启用 Shell 跟踪模式。-n （noexec 或 no ecxecution 简称） - 指示 Shell 读取所有命令然而不执行它们，这个选项激活语法检查模式。-v （verbose 的简称） - 告诉 Shell 读取脚本时显示所有行，激活详细模式。

原创 数据分析方法

常用的数据分析方法有：1、对比分析法；2、分组分析法；3、结构分析法；4、留存分析法；5、交叉分析法；6、漏斗分析法；7、矩阵分析法；8、象限分析法；9、趋势分析法；10、指标分析法；11、综合评价分析法。其中“对比分析法”是对数据进行比较以分析数据间的差异，包括静态比较和动态比较。

原创 linux 修改成24小时制

时间24小时制

原创 markdown图标收藏

markdown

原创 hive存储格式对比

hive 存储格式对比

原创 数据仓库的数据问题

数据仓库中的数据问题

原创 CSS position sticky与overflow失效解决办法

处理position sticky 和 overflow 失效

原创 c++ vector 实现自定义排序

c++ vector 实现自定义排序

原创 mysql group_concat 长度限制自动截取

mysql group_concat 长度限制自动截取

原创 mac python3安装pandas

mac python3安装pandas。

原创 dolphinscheduler 配置企业微信机器人告警(http)

dolphinscheduler 企业微信群机器人告警，本质是用的http告警插件

原创 相关技术汇总

数据仓库

原创 mac和linux 格式化时间

linux mac 格式化时间

原创 快速删除文件前几行技巧

删除文件前几行

原创 nignx 配置允许跨域访问

add_header Access-Control-Allow-Methods *;add_header Access-Control-Allow-Origin *;add_header Access-Control-Allow-Credentials true;add_header Access-Control-Allow-Headers Token,groupid,app,appid,projectid,project_id,Project-Id,appcode,Content-Type,Upg.

原创 No module named Crypto.Cipher

pip uninstall cryptopip install pycryptodomepycrypto、pycrytodome和crypto是一个东西，crypto在python上面的名字是pycrypto，它是一个第三方库，但是已经停止更新三年了，所以不建议安装这个库；pycryptodome就来了，它是pycrypto的延伸版本，用法和pycrypto是一模一样的...

原创 mac python2 pip: command not found

需要先安装pipsudo easy_install pip

原创 doris profile影响执行效率

原创 dolphinscheduler安装mysql客户端

$ cat /etc/os-release PRETTY_NAME="Debian GNU/Linux 10 (buster)"NAME="Debian GNU/Linux"VERSION_ID="10"VERSION="10 (buster)"VERSION_CODENAME=busterID=debianHOME_URL="https://www.debian.org/"SUPPORT_URL="https://www.debian.org/support"BUG_REPORT_U..

原创 在docker中将kafka对外暴露端口

1、添加环境变量KAFKA_ADVERTISED_LISTENERS: INSIDE://:9093,OUTSIDE://{ip}:9092 KAFKA_LISTENERS: INSIDE://:9093,OUTSIDE://:9092 KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE2、端口可用主机publis

原创 Kafka topic Leader的自动负载均衡

1、生产环境下可通过配置auto.leader.rebalance.enable=true实现topic Leader的自动负载均衡2、kafka-preferred-replica-election在创建一个topic时，kafka尽量将partition均分在所有的brokers上，并且将replicas也均分在不同的broker上。每个partitiion的所有replicas叫做"assigned replicas"，"assigned replicas"中的第一个replicas

原创 数据仓库如何保证数据一致性

数据指标一致性数据指标不一致的体现同样的指标来自两张不同的表，结果不一样，可能源不一致，口径不一致同样的指标，数据源自同一张表，但是是2个需求，指标口径不统一。同一个指标，命名不一样，导致重复计算。不同的两个指标，命名一样，导致产生误解数据一致性的目标从设计，开发，部署和使用层面，避免重复建设和指标冗余建设，从而保障数据口径的规范和统一，最终实现数据资产全链路关联，提供标准数据输出以及建立统一的数据公共层。数据一致性思考方向口径一致性（计算口径，可以从结果去做监控）命名一致性（通过指标管

原创 配置mongodb出现Error parsing INI config file: unrecognised option ‘nohttpinterface‘ 报错

配置文件中注释掉nohttpinterface =true

原创 系统日志/var/log/messages清理

cd /var/log#查看messages的扩展权限 lsattr messages-----a-------e- messages -----a---------- messages# 清除a权限chattr -a messages # 再次查看a权限已经清除 lsattr messages---------------- messages# 使用echo追加空到messages echo /dev/null > messages # 查看messages大小 ls

原创 linux磁盘挂载某个目录挂载不上

mkfs.xfs -f /dev/sdnmount /dev/sdn /data1磁盘挂载不上，不报错，不返回1、可能有人占用这个目录2、系统记录的信息可能有误查看日志journalctl -S "2021-07-05 18:04:00"或者查看/var/log/messages发现```systemd: Unit data1.mount is bound to inactive unit dev-sdj.device. Stopping, too.```/da

原创 hadoop:DataXceiver error processing WRITE_BLOCK operation

datanode 宕机报错2021-04-13 12:08:18,072 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: 192-168-72-68:50010:DataXceiver error processing WRITE_BLOCK operation src: /192.168.72.118:19956 dst: /192.168.72.68:50010java.io.IOException: Not ready to serv

原创 Docker Swarm network PermissionDenied

docker 使用网络报错docker: Error response from daemon: Could not attach to network XXXXX: rpc error: code = PermissionDenied desc = network XXXXX not manually attachable.这是因为使用docker network 命令创建时，没有添加 --attachable参数。docker network create --driver overlay -

原创 tar分卷压缩解压

1.使用tar分卷压缩格式 tar cvzf - filedir | split -d -b 50m - filename样例：tar cvzf - ./dir | split -d -b 10m - dirname.tar.gz将./dir 打包，并切割为 10m 的包输出的文件为 filename00、filename01、filename02 …假设不加filename，则输出文件为 x00、x01、x02 …假设不加參数 -d。则输出aa、ab、ac …2.解压分卷首先将分卷包合拼

原创 kafka重分配分区

基础操作#检查topic分区情况sh kafka-topics.sh --zookeeper ${kafkaZk} --describe --topic topicName#客户端消费sh kafka-console-consumer.sh --zookeeper ${kafkaZk} --topic topicName --max-messages 5#查看topic列表sh kafka-topics.sh --zookeeper ${kafkaZk} --list#修改topic分区数

原创 hive关于fetch.task优化

hql默认是需要转成mapreduce任务去执行的，但是一些场景启动mapreduce，比较消耗资源而且时间很慢，所以hive对于查询做了优化，有些查询是可以不启动mapredce去执行的，即按照fetch task 的方式去执行，实际上就是单进程的文件处理，输出结果在hive-site.xml中有三个fetch task相关的值，也可以在客户端直接执行 set …hive.fetch.task.conversionhive.fetch.task.conversion.threshold #在输入大小

原创 kafka日常操作

１、修改topic的分区数bin/kafka-topics.sh --zookeeper node02:2181 --alter --topic second --partitions 3

原创 pyspark on yarn 集群方式提交计算的驱动问题

spark-submit \--master yarn \--verbose \--deploy-mode cluster \--num-executors 1 \--executor-memory 1G \--executor-cores 1 \test.py -table 'ods.tabe' -fields 'dt' -prov hl -dt 20201122在spark-default.conf配置spark.pyspark.python python3spark.driv

原创 判断某个端口进程存在并重启

#!/bin/bash# 四川端口映射restartCurServer(){ case $1 in rich | 10004) listen_port_pid=`lsof -i:${1} |awk '{print $2}' | grep -v 'PID' | tail -n 1`; if [ -n ${listen_port_pid} ];then echo "处理的PID：${listen_port_pid}"; kill -9 ${listen_port_pid}; f

原创 hive获取执行结果报错java.io.IOException: Could not find status of job:

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$PathComponentTooLongException): The maximum path component name limit of job_1593052953461_11181364-1605859463298-data%2Dplatform-insert+into+table+con...%2C.

原创 记一次华为服务器故障解决

服务器品牌：华为故障现象：服务器 72.98无法登录，或者登录上去一会就卡掉，服务器上相关服务通信连接不上，zabbix也断了。cpu内存磁盘等基本情况没有发现异常，尝试重启一次也没有解决。解决：升级系统内核yum update kernel升级到最新的系统内核 3.10.0-1160.6.1.el7.x86_64然后重启服务器查看系统内核版本 cat /proc/versionLinux version 3.10.0-1160.6.1.el7.x86_64 (mockbuild

原创 python3安装python-jenkins模块

[root@jenkins-master bin]# ./pip3 install python3-jenkins -i http://pypi.mirrors.ustc.edu.cn/simple/Looking in indexes: http://pypi.mirrors.ustc.edu.cn/simple/Collecting python3-jenkinsWARNING: The repository located at pypi.mirrors.ustc.edu.cn is not a

原创 Virtual Box会出现 Runtime error opening ‘C:\Users\admin\VirtualBox VMs\Windows Server\Windows Server.vb

当我们的虚拟机在非正常关闭后,再次启动机器时,Virtual Box会出现 Runtime error opening 'C:\Users\admin\VirtualBox VMs\Windows Server\Windows Server.vbox for reading: -102 (File not found.).提示。由于电脑非正常关闭，导致Windows Server.vbox　这个文件找不到，顺着这个路径找下去，把Windows Server.vbox-tmp 修改成　Windows Se

原创 sublime列编辑模式

如果每行的字符串长度不同，而你需要修改后面几个个字符Ctrl+A 全选Ctrl+Shift+L 进入列选模式使用方向键左右移动所有列的光标，并配合使用Shift键来多选每行的字符

原创 jenkins启用安全认证后的问题

启用安全认证没有点击jenkins专有的用户数据库，导致选择完后出现Overall/read权限　问题２.此时只能去jenkins_home 目录去修改config.xml文件在jenkins默认的主目录.jenkins中修改config.xml文件，将文件下的几行true false false 或者找到.jenkins/config.xml文件：替换为：1、这个权限对应“任何用户可以做任何事(没有任何限制)”2、这个权限对应“登录用户可以做任何事”可...

原创 linux下解压rar文件

wget https://www.rarlab.com/rar/rarlinux-5.5.0.tar.gz tar zxvf rarlinux-5.5.0.tar.gzcd rrarsudo make && make install#解压rar x file.rar#压缩rar a file.rar ./file/