linux
文章平均质量分 64
DataPulse-辉常努腻
码出未来 let's coding!
展开
-
HADOOP MapReduce 处理 Spark 抽取的 Hive 数据【解决方案一】
今天咱先说问题,经过几天测试题的练习,我们有从某题库中找到了新题型,并且成功把我们干趴下,昨天今天就干了一件事,站起来。沙问题?java mapeduce 清洗 hive 中的数据 ,清晰之后将driver代码 进行截图提交。 spark之前抽取的数据是.parquet格式的, 对 mapreduce 不太友好,我决定从新抽取, 还是用spark技术,换一种文件格式 使用新方法进行sink的时候我是直接like别的现成表结构折磨干的,后来hive分割字段都TM乱套啦,赞看看!1.使用scala+sp原创 2022-06-21 17:26:03 · 819 阅读 · 0 评论 -
ubuntu 扫描局域网ip
ubuntu 扫描局域网ip原创 2022-06-16 09:39:55 · 1424 阅读 · 0 评论 -
Flink CEP - Flink的复杂事件处理
1 Flink CEP 是什么FlinkCEP - Flink的复杂事件处理。它可以让你在无限事件流中检测出特定的事件模型,有机会掌握数据中重要的那部分2 Flink CEP 特点目标:从有序的简单事件流中发现一些高阶特征输入:一个或多个由简单事件构成的事件流处理:识别简单事件之间的内在联系,多个符合一定规则的简单事件构成复杂事件输出:满足规则的复杂事件3 Flink CEP 应用场景风险控制:对用户异常行为模式进行实时检测,当一个用户发生了不该发生的行为,判定这个用户是不是有违规操作的嫌原创 2022-05-15 14:12:39 · 357 阅读 · 0 评论 -
ubuntu 文件监视数量 Error: ENOSPC: System limit for number of file watchers reached, watch‘所在文件路径‘
vue 运行执行 npm run dev | *Error: ENOSPC: System limit for number of file watchers reached, watch’所在文件路径’原因是ubuntu系统监听文件数量不足执行这两条命令,直接扩大数量echo fs.inotify.max_user_watches=524288 | sudo tee -a /etc/sysctl.conf && sudo sysctl -psudo sysctl --syst原创 2022-03-30 09:54:55 · 746 阅读 · 0 评论 -
nginx 80 映射web服务,并安装使用https ssl证书
本文档指导您如何在 Nginx 服务器中安装 SSL 证书。nginx version: nginx/1.18.0SSL TrustAsia TLS RSA CA RSA 2048本文档以证书名称 cloud.tencent.com 为例。Nginx 版本以 nginx/1.18.0 为例。当前服务器的操作系统为 CentOS 7,由于操作系统的版本不同,详细操作步骤略有区别。安装 SSL 证书前,请您在 Nginx 服务器上开启 “443” 端口,避免证书安装后无法启用 HTTP原创 2022-03-29 17:32:05 · 614 阅读 · 0 评论 -
Nginx 安装配置 | 图床搭建 | Nginx 限流 三大弹
NginxNginx 安装前的配置正式安装 Nginx服务器图床搭建Nginx 其他命令Nginx 限流控制速率标题正常限流限制连接数Nginx(“engine x”)是一款是由俄罗斯的程序设计师Igor Sysoev所开发高性能的 Web和 反向代理 服务器,也是一个 IMAP/POP3/SMTP 代理服务器。在高连接并发的情况下,Nginx是Apache服务器不错的替代品。Nginx 安装前的配置系统平台:CentOS release 8.2 (Final) 64位。(2021-12-31已原创 2022-03-29 15:50:57 · 545 阅读 · 0 评论 -
centos8 appstream大坑Failed to download metadata for repo appstream: Cannot prepare internal mirrorlis
来自官方解释:CentOS Linux 8 had reached the End Of Life (EOL) on December 31st, 2021. It means that CentOS 8 will no longer receive development resources from the official CentOS project. After Dec 31st, 2021, if you need to update your CentOS, you need to chan原创 2022-03-29 09:37:15 · 1803 阅读 · 0 评论 -
Hadoop 查看Fsimage和Edits文件 命令
1.oiv查看Fsimage文件hdfsoiv apply the offline fsimage viewer to an fsimageoev apply the offline edits viewer to an edits file基本语法hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径案例实操[huizai@hadoop102 current]$ pwd /opt/module/hadoop-3.1.3/dat原创 2021-12-04 20:50:09 · 1633 阅读 · 0 评论 -
crontab Linux下 crontab 命令的用法:sudo crontab -?
命令解释:cron 是linux系统下一个自动执行指定任务的程序.cron服务是linux的内置服务,但它不会开机自动启动。可以用以下命令启动和停止服务:Linux代码 /sbin/service crond start /sbin/service crond stop /sbin/service crond restart /sbin/service crond reload 以上1-4行分别为启动、停止、重启服务和重新加载配置。要把cron设为在开机的时候自动启动,在 /原创 2021-12-04 08:54:54 · 1618 阅读 · 0 评论 -
Linux命令篇:chmod 777 与 chmod +x
man chmod 可以查看linux命令解释 -c, --changes like verbose but report only when a change is made -f, --silent, --quiet suppress most error messages -v, --verbose output a diagnostic for every file processed --no-preserv原创 2021-12-03 15:19:02 · 1613 阅读 · 0 评论