Mr.Zheng的博客

使用阿里fastjson解析TestDemoimport com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject;import java.util.ArrayList;public class WordCountTest { private ArrayList<JsonContent> getPlatformList(St

kafka一般加密采集

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; #默认set hive.input.format=org.apache.hadoop.mapred.TextInputFormatorg.apache.hadoop.hive.ql.io.orc.OrcOutputFormat

lzo压缩并建立相关索引

2021/12/13号编译2.15.0版本 Log4j2，降低集群风险。

CommandNotFoundError: Your shell has not been properly configured to use 'conda activate'.To initialize your shell, run $ conda init <SHELL_NAME>Currently supported shells are: - bash - fish - tcsh - xonsh - zsh - powershellSee

背景在集群监控系统里看到/var/lib目录占用已经达到87%，马上就会告警，所以用du命令检查了磁盘使用情况，发现只要是docker(Docker version 19.03.13)目录占用过多。操作过程查看使用状况sudo du -sh /var/lib/docker/#返回结果3.9G /var/lib/docker/sudo docker system df #返回结果TYPE TOTAL ACTIVE

前言该贴仅限于初级学习环境搭建，不涉及容器排布，docker-compose或者k8s不在此操作，所以该贴不用于生产！创建宿主机目录mkdir -p /root/docker-mysql/datamkdir -p /root/docker-mysql/confmy.cnfvim /root/docker-mysql/conf/my.cnf编写以下内容[mysqld]innodb_data_file_path=ibdata1:5M;ibdata2:5M:autoextendbind-

错误信息ERROR: Command errored out with exit status 1:command: /root/anaconda3/envs/af/bin/python -c ‘import io, os, sys, setuptools, tokenize; sys.argv[0] = ‘"’"’/tmp/pip-install-dl2mdtuy/mysqlclient_c6285f77af9849f1a063879672b01db0/setup.py’"’"’; file=’"’

前言作者原贴该大佬在19年将代码贡献，利用大佬的代码，简单做配置和写回调函数，即可使用。注意要点钉钉机器人需要创建一个3人以上的群才可以创建，且需要定义关键字，关键字只要包含与告警信息里即可。配置airflow进入webUI，点击admin中的connection然后配置dingding_default注意 host填写https://oapi.dingtalk.com,password填写access_token等号后面的内容，该信息由钉钉机器人提供，只需要复制即可。修改后点击save！

现象删除一张表时，发现执行不报错，但是一直卡住。执行其他表查询或者删除语句正常，查看元数据库字符集正常。锁定问题在于单表，查询HIVE_LOCKS发现该表存在锁。复现原因，执行过程中关闭了session窗口（xshell），导致加锁未释放。（在hive操作过程中强制退出后，会导致锁表，并且unlock命令无效）解决办法此时可以去mysql的元数据库中解锁 mysql的元数据中解锁的命令是不同版本可能表名不同，以下是2.3.x版本hive表 mysql>use hive; mysql>

map控制#每个Map最大输入大小set mapred.max.split.size=256000000;#一个节点上split的至少的大小set mapred.min.split.size.per.node=100000000;#一个交换机下split的至少的大小set mapred.min.split.size.per.rack=100000000;reduce控制# 每个reduce处理的数据量set hive.exec.reduces.bytes.per.reducer=500

jsonserde简介直接解析json数据转换成hive表，可以配置映射。需要相关jar包支持~样例数据{"a":"2021-03-02 21:27:55","e":"activity_on_start","faceImage":"","p":{"an":".ui.VIPCenterActivity","from":"com.imprexion.adplayer","fromActivity":""},"t":1614691675578,"uid":-1,"v":3,"device_id": "1f4

1.hive->pgsql数据由HDFS中的Hive表导出到关系数据库PGSQL中，导出数据时，关系型数据库中的存放导入数据的表需要遵以下规则hive中数据字段列类型顺序和pgsql中表字段列类型顺序一致，sqoop导出时，sqoop不是将hive字段导出到对应pgsql表字段中，所以导出时，一定要注意表字段顺序和类型！字段名称顺序不同时，如果字段列类型顺序相同，导出是成功的，但是会有数据所在列和hive中列不一致的情况，特别是通过alter table操作得到的新表！...

1、关闭ubuntu的防火墙ufw disable开启防火墙ufw enable2、卸载了iptablesapt-get remove iptables3、关闭ubuntu中的防火墙的其余命令iptables -P INPUT ACCEPTiptables -P FORWARD ACCEPTiptables -P OUTPUT ACCEPTiptables -F

这就是普罗米修斯处于的位置。普罗米修斯具有一个服务端，这个服务端提供两类服务，一个是主动poll数据的服务，一种是等待exporter端push数据。这里有个玩意是exporter，那么什么是Exporter？Exporter广义上讲所有可以向Prometheus提供监控样本数据的程序都可以被称为一个Exporter。类比于Zabbix中的agent。Exporter来源一般社区会提供大部分的exporter，而有些则是一些大牛或者编程爱好者写的，目前Promthues社区官方提供了对以下编程语言

乌班图用户需要安装ssh服务。安装完成后编辑vim /etc/ssh/sshd_config配置本地root免密的时候将注释打开，注释第一行PermitRootLogin prohibit-password#PermitRootLogin yes配置以后如果ssh免密配置好，在已有公钥的电脑上通过ssh 可以免密登录的。但是如果是别的电脑是无法通过ssh用root账户登录。...

1.问题背景通过flume直接上传实时数据到hdfs，会常遇到的一个问题就是小文件，需要调参数来设置，往往在生产环境参数大小也不同1.flume滚动配置为何不起作用？2.通过源码分析得出什么原因？3.该如何解决flume小文件？2. 过程分析接着上一篇，blog.csdn.net/hu_lichao/a…本人在测试hdfs的sink，发现sink端的文件滚动配置项起不到任何作用，配置如下：a1.sinks.k1.type=hdfs a1.sinks.k1.channel=c1 a1.

前言与第三方数据同步，约定使用kafka作为接收数据的中间件，但是之前配置有问题，所以导致外网无法向我们集群生产数据（我们的集群有公网网卡，对外暴露了指定的端口），后来查了很多资料才知道，需要做一些配置，下面我将配置要点贴下面。配置方法找到kafka的server.properties进行修改红色部分绑定该节点的内网ip加端口号listeners=PLAINTEXT://hostname:port绿色部分绑定该节点的外网ip加端口号advertised.listeners=PLAINT

前言在yarn上跑的程序必须拥有代码，环境，配置。flink on yarn模式，用户提交完jar以后，通过yarn调度队列，任务jar会被分配到某个节点，连同配置，环境，一起被分发到某个Task节点。flink run 命令参数详情1 参数必选 ： -n,--container <arg> 分配多少个yarn容器 (=taskmanager的数量) 2 参数可选 ： -D <arg> 动态属性