尘世壹俗人
码龄5年
关注
提问 私信
  • 博客：725,256
    社区：5
    问答：1,629
    动态：85
    726,975
    总访问量
  • 441
    原创
  • 5,115
    排名
  • 1,991
    粉丝

个人简介：希望我的内容能够帮助更多人，一般我发出来的都是经过自己验证或者自身在用的内容，能躺的坑已经躺完了，也欢迎大家私聊我探讨问题，加班太多回复可能不太及时

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）
IP 属地：北京市
  • 加入CSDN时间： 2019-09-12
博客简介：

别人笑我太疯癫，我笑他人看不穿。

查看详细资料
  • 原力等级
    当前等级
    7
    当前总分
    3,546
    当月
    153
个人成就
  • 获得888次点赞
  • 内容获得213次评论
  • 获得1,916次收藏
  • 代码片获得12,088次分享
创作历程
  • 16篇
    2025年
  • 58篇
    2024年
  • 22篇
    2023年
  • 95篇
    2022年
  • 223篇
    2021年
  • 27篇
    2020年
成就勋章
TA的专栏
  • 大数据Presto技术
    7篇
  • docker+k8s
    17篇
  • VUE
    15篇
  • 大数据DataX技术
    2篇
  • Jquery
    8篇
  • HTML
    8篇
  • CSS
    6篇
  • Spring boot
    25篇
  • SSM
    11篇
  • 编程上的疑难杂症
    56篇
  • Scala语言编程
    34篇
  • Python语言编程
    24篇
  • 各类型大数据集群搭建文档
    18篇
  • Linux操作系统
    21篇
  • 大数据Hbase技术
    7篇
  • CDH集群
    2篇
  • 大数据Spark技术
    50篇
  • 大数据Hadoop技术
    27篇
  • Windows系统
    3篇
  • 越来越有判头系列
    2篇
  • 大数据Hive技术
    28篇
  • 数据库Oracle
    4篇
  • 数据库Mysql
    6篇
  • MVware虚拟化
    3篇
  • 数据传输Kafka技术
    3篇
  • 数据库SqlServer
    3篇
  • C系列C++
    49篇
  • Java语言编程
    16篇
  • 正则表达式
    3篇
  • 大数据Sqoop技术
    4篇
  • 大数据Flume技术
    5篇
  • 大数据phoenix技术
    3篇
  • 大数据Flink技术
    7篇
兴趣领域 设置
  • 编程语言
    java
  • 数据结构与算法
    算法数据结构
  • 大数据
    数据库开发
  • 前端
    前端框架
  • 后端
    spring
创作活动更多

超级创作者激励计划

万元现金补贴，高额收益分成，专属VIP内容创作者流量扶持，等你加入！

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

maven的打包插件如何使用

默认的情况maven项目不打第三方包的，想要打一个完整的包就需要，把下面的插件依赖导入pom。打完包后，除了原本的最小jar外，会有一个包名包含jar-with的jar。
原创
发布博客 20 小时前 ·
1390 阅读 ·
5 点赞 ·
0 评论 ·
6 收藏

如何正确使用maven-assembly-plugin将项目打包成tar包

答:

研究了半天，有点明白过来了，不一定对，但是目前有个能用的想法。

这个想法的起点是在用spring-boot的编译插件时，不同的模块在做包的一部分时，有一个skip的参数，让不需要单独启动的web模块忽略主类的编译，从而用一个统一的编译模块指定主类打包。因此在实在是没办法在父项目中写编译插件实现统一打成一个包，包里有所有内容的情况下，我将其他模块中的maven-assembly-plugin编译打包插件删掉了，用一个统一的模块收集了所有需要打包的资源，在这个模块里面写了打包逻辑，尝试之后发现是可以的，所以目前就怎么用吧，实在没辙了

回答问题 21 小时前

如何正确使用maven-assembly-plugin将项目打包成tar包

发布问题 23 小时前 ·
5 回答

如何在shell中正确保留后台执行进程的id

发布问题 2025.01.24 ·
2 回答

linux中如何后台运行一个命令并获取它的进程号

配合，nohup可以让你的进程生命周期不终止于本次客户端连接，但是它会忽略执行器返回的进程id，因此需要ps解析结果，如下。当然使用ps -aux或者ps -ef在获取进程id上都可以。如果你只是想简单的后台挂起一个程序你可以在命令的末尾加一个。获取linux执行器最后一个操作返回的进程id，如下。但，如果你是在写一个日常用的脚本，建议你使用。
原创
发布博客 2025.01.24 ·
223 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

查看hive表结构

查看hive表结构。
原创
发布博客 2025.01.21 ·
112 阅读 ·
3 点赞 ·
0 评论 ·
0 收藏

Java如何向http/https接口发出请求

接口提供的方法，它主要用于访问https协议下的接口时，验证当前已和你建立连接的hostname（主机名）和连接的SSLSession（SSL会话）证书是否匹配，防止中间人攻击，比如可以如下操作。下，在具体使用时可以用如下代码，你可以把它封装成一个工具类。是X.509 证书的验证实现，通俗的讲是一个基础的证书，用Java发送web请求所用到的包都在。对于上面的代码，重点要说明的第一点是。是用来实现证书验证的类，
原创
发布博客 2025.01.21 ·
1291 阅读 ·
9 点赞 ·
0 评论 ·
1 收藏

linux如何并行执行某个单独命令

并行执行命令通常出现在同步某个文件这类涉及多个节点，且一起执行一般不会发生致命意外风险的操作，可以用linux自带的xargs命令完成操作。
原创
发布博客 2025.01.21 ·
140 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

github登录用的TOTP和恢复码都丢失了怎么办

从22年左右开始github的登录就需要用TOTP的一个6位秘钥做二次认证登录，如果在用的TOTP软件失效了，可以用github开启二次认证时下载的恢复码重置认证，但是如果你和我一样这两个东西都没了就只能用邮箱重置了，过程给大家分享一下。点击绿色按钮之后，会给你的邮箱发一个六位密码，按照提示输入之后，经历一番复杂的验证，最后还要经过三个工作日才可以恢复登录。所以还是提前下载并保存好恢复码，在认证软件失效时，以备不时之需，下载的位置在，账号设置中。最后，呼吁保存好你的恢复码，别和我一样，真的也是无语了！
原创
发布博客 2025.01.19 ·
351 阅读 ·
4 点赞 ·
0 评论 ·
0 收藏

spark任务优化参数整理

Hadoop_MRSpark_Corespark.executor.memory默认值1gspark.executor.cores默认值1核spark.executor.instances默认值2个spark.yarn.am.memory默认值512mspark.yarn.am.cores默认值1核Spark_SqlFlink_CoreFlink_Sql...
原创
发布博客 2025.01.17 ·
2106 阅读 ·
37 点赞 ·
0 评论 ·
17 收藏

Spark任务提交流程

spark的任务执行流程没有Hadoop那么绕，它的流程其实就是当你运行submit的的时候Driver会和Master进行交互，因为对于Spark来说Master是掌控集群资源的组件，和Hadoop的yarn是一样的作用，Master会通知有资源的服务器节点，去主动的和Driver交互，这一步也叫反向注册，其实说的高大上，说白了就是让服务器子节点和Driver去交互，Master不参与了，不过在Master通知服务器子节点和Driver反向注册的时候，会通知它们启动executor进程而Driver和.
原创
发布博客 2025.01.17 ·
1229 阅读 ·
6 点赞 ·
0 评论 ·
5 收藏

hive表修改字段类型没有级连导致历史分区报错

指字段的最新状态，默认只对往后的分区数据生效，而之前的分区保留历史元数据状态。好处就是修改语句的效率很快，坏处就是如果历史分区的数据还有用，那就回发生分区元数据和表元数据的不一致报错。1、如果你改的是一个全量表，此时没有级联的概念，你的修改最多的会导致数据改动时引擎发现已有数据类型和你要改的类型不一样，说白了就是无论做任何修改都要保证元数据的一致性。二：想要避免这样的问题，那元数据正确的改动方法，应该是使用hive的客户端，运行修改语句时，带上级连关键字CASCADE，如新增一个字段。
原创
发布博客 2025.01.16 ·
460 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

presto任务卡住不继续执行

3、是否有大量数据在同一个select中做成本很高的计算，比如多个字段在数据量本身很大的情况下在同一个select里面一起去重等，这种情况不止要减少计算的数据，还要将多个字段使用with as的方式分成多个临时表计算。1、检查你的数据切片是否导致任务的数据集很大，这种情况通常导致执行阶段出现压力异常问题，此时减少切片，分多次写入，或者用个中间表，分步聚合。当你的presto任务非直接报错，只是卡在了 XX% 这种运行状态不动时，有时伴随queryid旁边有黄色感叹号，如下。
原创
发布博客 2025.01.16 ·
204 阅读 ·
3 点赞 ·
0 评论 ·
0 收藏

大数据原生集群 (Hadoop3.X为核心) 本地测试环境搭建二

本篇安装软件版本mysql5.6。
原创
发布博客 2025.01.14 ·
674 阅读 ·
7 点赞 ·
0 评论 ·
8 收藏

presto不支持concat_ws

在sparksql/hive中，将一个数据集合已指定的分隔符拼接可以用。，但是在presto中没有这个函数，不过presto提供了一个集合方法。同样的对数据集去重可以用。如果你不需要去重就直接用。
原创
发布博客 2025.01.14 ·
283 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

presto资源组配置

通过hardCpuTime 和 cpuQuotaPeriod配置不同资源队列占有cpu资源的比例，如果将cpuQuotaPeriod配置为1小时，而当前集群有10个核的计算资源，这相当于集群总共有10个CPU小时的执行时间可以用，将某资源队列组的hardCpuTime配置为5小时，则说明该组最多能占有50%的cpu资源(5/10)，说白了cpuQuotaPeriod有点像yarn资源的最小因子，presto用它来限制cpu资源的使用。子组运行查询的预期份额是根据当前所有符合条件的子组的权重计算的。
原创
发布博客 2025.01.09 ·
567 阅读 ·
24 点赞 ·
0 评论 ·
16 收藏

presto权限管理

官方文档-》https://prestodb.github.io/docs/current/security/built-in-system-access-control.htmlpresto的权限管理，分为catalog配置、schema配置、principal规则，分别管理着不同维度的权限设置。使用的前提是在etc目录下，创建文件，并写入如下配置。
原创
发布博客 2025.01.07 ·
513 阅读 ·
18 点赞 ·
0 评论 ·
13 收藏

如何用代码提交spark任务并且获取任务权柄

在国内说所有可能有些绝对，因为确实有少数大厂技术底蕴确实没的说能做出自己的东西，但其他的至少95%数据中台平台研发方案，都是集群中有一个持久化的程序，来接收任务信息，并向集群提交任务同时获取任务的权柄，把任务的appid和日志通过套接字的方式向外提供。
原创
发布博客 2025.01.04 ·
792 阅读 ·
10 点赞 ·
0 评论 ·
3 收藏

Java网络套接字

到此，Java套接字的基本应用就介绍完了，可以自己以此为基础衍生很多有意思的小程序，市面上也有很多现成的类库和架构，来完成不同的能力，比如上面的socket其实是一种二进制接口，想要完成丰富的能力需要写很复杂的代码，而Springboot提供了websocket用来在web的基础上完成套接字的实现，从而实现在线客服等能力的支持。上面这两个案例，可以让你很方便的了解到Java提供的网络套接字能力，当然这不是全部，你还可以获取客户端的ip等等，这些都可以办到。来实现一对一正常对话的效果，可以用如下的代码实现。
原创
发布博客 2025.01.02 ·
1061 阅读 ·
24 点赞 ·
0 评论 ·
20 收藏

Linux内核修改内存分配策略

这个报错是因为，linux会对大部分的内存资源申请都回复允许，以便于运行更多的程序。但是有些程序申请完内存后并不一定会立马使用，会持久化占用不释放，导致后续的服务，linux没有足够的内存提供给它，就会出现上面这个错误，这就叫做overcommit。0：内核首先会检查是否有足够的内存分配，如果没有就反馈申请失败，也就是cannot allocate memory的出现，这是默认配置。这个错误的解决方法除了加成本怼内存之外可以修改内存的分配策略，使得如果内存到了一定程度就直接拒绝了。
原创
发布博客 2024.12.31 ·
183 阅读 ·
2 点赞 ·
0 评论 ·
0 收藏
加载更多