失散Lost
码龄9年
关注
提问 私信
  • 博客：166,785
    社区：1,590
    168,375
    总访问量
  • 101
    原创
  • 1,813,948
    排名
  • 50
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）
IP 属地：北京市
  • 加入CSDN时间： 2016-12-01
博客简介：

hello world

博客描述：
在做了...在做了...
查看详细资料
个人成就
  • 获得65次点赞
  • 内容获得53次评论
  • 获得245次收藏
  • 代码片获得439次分享
  • 博客总排名1,813,948名
创作历程
  • 5篇
    2021年
  • 31篇
    2020年
  • 38篇
    2019年
  • 38篇
    2017年
成就勋章
TA的专栏
  • azkaban
    2篇
  • Linux
    2篇
  • Hive
    9篇
  • Hadoop
    10篇
  • Spark
    8篇
  • kafka
    6篇
  • MySql
    1篇
  • 刷题
    12篇
  • Github
    2篇
  • java
    7篇
  • 杂七杂八
    5篇
兴趣领域 设置
  • 大数据
    hadoophivestormsparkflinketl
创作活动更多

王者杯·14天创作挑战营·第2期

这是一个以写作博客为目的的创作活动，旨在鼓励码龄大于4年的博主们挖掘自己的创作潜能，展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴，那么，快来参加吧！我们一起发掘写作的魅力，书写出属于我们的故事。 注： 1、参赛者可以进入活动群进行交流、分享创作心得，互相鼓励与支持（开卷），答疑及活动群请见https://bbs.csdn.net/topics/619735097 2、文章质量分查询：https://www.csdn.net/qc 我们诚挚邀请你们参加为期14天的创作挑战赛！

56人参与 去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

jar_files.zip

发布资源 2021.03.04 ·
zip

使用log4j将spark on yarn任务的日志发送到kafka

1.将spark streaming以yarn cluster运行后，查看日志是一件比较麻烦的事情。需要停止任务，再用yarn log命令收集。而这无疑违背了实时程序7-24运行的原则。2.在我搜索解决方法时，发现可以使用kafka-log4j-appender将日志发送到kafka的主题在maven引入依赖 <dependency> <groupId>org.apache.kafka</groupId>
原创
发布博客 2021.03.04 ·
638 阅读 ·
1 点赞 ·
2 评论 ·
1 收藏

微信抢红包_v1.0.0.apk

发布资源 2021.02.11 ·
apk

Auto.js微信抢红包脚本

launchApp("微信")toastLog("准备抢红包，请将屏幕保持在微信的聊天窗口")device.keepScreenOn()//搜索新红包并点开领取function searchNewRedpacket () { var rp_msg_list = className("android.widget.TextView").id('u1').find(); if (rp_msg_list.length != 0) { log("检测到的红包个数: " + rp_msg_l
原创
发布博客 2021.02.11 ·
13663 阅读 ·
10 点赞 ·
16 评论 ·
67 收藏

java获取本机ip4地址（局域网内地址）

参考了https://www.cnblogs.com/starcrm/p/7071227.html取的局域网内地址，并过滤掉了可能会出现的virbr0地址（192.168.122.1）代码如下 private static String getLocalIp() throws SocketException { Enumeration allNetInterfaces = NetworkInterface.getNetworkInterfaces(); while
原创
发布博客 2021.02.10 ·
995 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

java使用dom4j生成xml文件

演示使用dom4j生成xml文件的情景。1.maven依赖<dependency> <groupId>dom4j</groupId> <artifactId>dom4j</artifactId> <version>1.6.1</version></dependency>2.示例 public static void main(String[] args) { // 创建了
原创
发布博客 2021.02.05 ·
477 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

从mysql和oracle获取表的字段信息（主键，注释，长度）

-- mysql-- 获取某个数据库下所有表注释，TABLE_SCHEMA即数据库名select table_schema,table_name,table_comment from information_schema.TABLES where TABLE_SCHEMA = ?;-- 例如select table_schema,table_name,table_comment from information_schema.TABLES where TABLE_SCHEMA = 'mydb';
原创
发布博客 2021.02.05 ·
303 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

win10使用idea阅读spark源码准备

win10使用idea阅读spark源码准备环境win10 + idea2019.3(scala 2.11.12插件) + maven3.6.0 + spark2.3.21.首先下载源码参考：https://blog.csdn.net/u011464774/article/details/76704785（????）官网下载地址http://spark.apache.org/downloads.html但是那个选择版本和type的下拉箭头，点不动，可能是浏览器适配的问题？????备用下载
原创
发布博客 2020.11.24 ·
705 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

谷歌三大论文.rar

发布资源 2020.09.11 ·
rar

kafka处理大消息的相关配置

kafka的设计初衷是迅速处理短消息，比如几k或者几十k，当然更小也不合适，一般认为处理10k大小的消息吞吐量性能最好。但有些情况下，没有办法限制消息的体积或者分割消息，就必须更改kafka的相关配置。kafka消息的最大值首先，kafka的一条消息肯定是有一个最大值的，在kafka的数据存储格式中，有一个4个字节的整数值来描述这条消息的大小，也就是说一条消息最大是2147483647字节，接近2个g。producer端相关参数max.request.sizeInt类型，默认值是1048576，
原创
发布博客 2020.09.03 ·
6785 阅读 ·
2 点赞 ·
0 评论 ·
16 收藏

kafka配置ssl加密

1.背景：之前的证书过期了，kafka的服务日志一直报Failed authentication with /ip (SSL handshake failed)生产者报的错误PKIX path validation failed: java.security.cert.CertPathValidatorException: timestamp check failed2.重新生成一） 生成认证文件1） 为每个Kafka broker生成SSL密钥和证书。keytool -keystore
原创
发布博客 2020.09.02 ·
4355 阅读 ·
1 点赞 ·
1 评论 ·
10 收藏

集群监控主要指标（load、CPU利用率、磁盘剩余空间、磁盘IO、内存使用）

集群监控大型互联网企业的背后，依靠的是成千上万台服务器日夜不停的运转，以支撑其业务的运转。宕机对于互联网企业来说，代价是沉重的，轻则影响用户体验，重则直接影响交易，导致交易下跌，并且给企业声誉造成不可挽回的损失。对于这些机器对应的开发和运维人员来说，即便是每台机器登陆一次，登陆那么多台机器也够呛，何况还需要进行系统指标的检查。因此，依靠人力是不可能完成24小时不间断监控服务器的任务的。如今，互联网已经深入到人们生活的每个角落，可以想象一下，假如哪一天Google或者Baidu不能搜索，抑或是amazon
转载
发布博客 2020.08.28 ·
2136 阅读 ·
1 点赞 ·
0 评论 ·
8 收藏

kafka生产者发送消息经常失败，集群报错direct buffer memory，占用cpu达到200%，频繁YGC

背景：kafka测试集群，5台节点问题描述：生产者发送消息失败概率大，尤其是连接建立的时候。查看内存信息，发现cpu占用过高，一直发生gc查找原因：查找kafka服务日志，发现5号节点有如下报错：top命令详解top -d 1jstat -gcutil 23518jmap -heap 23518jstat参数说明：S0C：第一个幸存区的大小　　S1C：第二个幸存区的大小　　S0U：第一个幸存区的使用大小　　S1U：第二个幸存区的使用大小　　EC：伊甸园区的大小　
原创
发布博客 2020.08.27 ·
1986 阅读 ·
0 点赞 ·
1 评论 ·
3 收藏

记一次kafka数据爆满的清理记录

kafka服务某个节点最近总是挂掉，今天是挂掉后起来立马挂掉查看server.log有报错记录：shutdown broker because all log dirs in have failed然后查看存储目录确实满了其中某个主题每个分区占了200G以上查看这个主题的配置> bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic --describe
原创
发布博客 2020.08.19 ·
2068 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

执行stop-dfs.sh后无法停止hadoop集群

提示no namenode to stop no datanode to stop
原创
发布博客 2020.08.04 ·
1038 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

spark streaming提交yarn运行不成功的记录

spark streaming和kafka搭配使用的时候，往往会因为kafka topic有问题而启动不成功我遇到过的表现有：1.yarn页面不提示异常，看日志log报错20/07/23 14:58:46 ERROR yarn.ApplicationMaster: RECEIVED SIGNAL TERM20/07/23 14:58:46 INFO spark.SparkContext: Invoking stop() from shutdown hook20/07/23 14:58:46 INF
原创
发布博客 2020.07.28 ·
2585 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

通过偏移量删除kafka主题中的消息

使用java程序的方法删除kafka的消息
原创
发布博客 2020.07.13 ·
1206 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

idea 重命名和全局替换快捷键

idea快捷键，一次性替换要修改的变量的名称，会把所要修改的这个变量的所有引用都同时修改，并且不影响其他可能重名的变量。
原创
发布博客 2020.07.05 ·
9833 阅读 ·
11 点赞 ·
2 评论 ·
16 收藏

spark streaming中updateStateByKey算子的使用介绍

前言在streaming中可以分为有状态运算和无状态运算无状态运算就是每个批次间都彼此隔离，每次都从空开始有状态运算为批次之间提供了管道，管道中保存的信息就是历史状态常见的有状态算子包括updateStateByKey，mapWithState，窗口函数其中updateStateByKey和mapWithState是比较相似的，区别在于无论本批次内有没有key对应的数据，updateStateByKey都会执行一遍运算逻辑，而mapWithState则不会被触发。下面看一下updateState
原创
发布博客 2020.06.29 ·
374 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

尝试spark streaming的有状态转化: updateStateByKey和mapWithState

spark streaming有状态转化updateStateByKey示例mapWithState示例
原创
发布博客 2020.05.27 ·
262 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多