- 博客(18)
- 收藏
- 关注
RSS订阅原创 flink 自定义redisSource (list类型数据)
自定义flink source，自定义redisSource ,自定义addSource
2023-10-23 17:17:29
179
原创 txt文本转excel表格-java（无表头）
java代码，将本地txt文本文件，转成excel表格文件，java代码编写，’\t‘分隔符切割。
2023-08-14 14:19:28
394
原创 python读写文件操作
python写数据到本地文件读写整合（读本地文件，处理数据后，写到本地）参考文档：https://blog.csdn.net/HoyAnGx/article/details/124835576https://www.csdn.net/tags/MtjaMgxsMTYwLWJsb2cO0O0O.html
2022-06-15 18:45:17
435
原创 scala代码中for循环遍历异常
我们在写scala代码的时候，使用for循环遍历经常会遇到一个异常： value foreach is not a member of，是因为我们用了java的for循环方法，只要导一个转换包就ok啦：import scala.collection.JavaConversions._案例：val trendsValueArray: JSONArray = trendsObject.getJSONArray("value") for(valueItem <- trendsValueArr
2022-01-26 15:37:54
689
原创 Kibana操作ES索引
查询全部别名GET /_alias添加别名POST /_aliases{“actions” : [{ “add” : { “index” : “tiktok_realtime_ticket_list_data”, “alias” : “tiktok_realtime_ticket_list_data_alias” } }]}添加索引字段PUT tiktok_brand_day_data/_mapping/_doc{“properties”:{“classification”:{“
2020-11-13 18:37:50
2632
1
原创 kafka数据生产过慢，spark拉取不到数据报错
kafka数据消费的情况一般分为两种：a.数据生产过快，消费者消费不及时，造成数据丢失b.数据生产过慢，消费者半天消费不到一条数据，造成poll超时解决：（只针对情况b）a.sparkConf配置参数：加大poll不到数据的超时时长（参数大小视情况而定）val conf: SparkConf = new SparkConf().setAppName(this.getClass.getName).set(“spark.streaming.kafka.consumer.poll.ms”, “10000
2020-10-20 18:13:05
771
原创 配置文件properties加载参数-scala版本
此demo为scala代码版本，java版本同款步骤1：recources目录下创建application.properties配置文件，内容如下：# mysql 参数配置mysql.url=jdbc:mysql://172.16.1.112:8066/DB_DATAWORK?characterEncoding=UTF-8mysql.user=aiyinglimysql.password=aiyingli# mysql读取大表配置(开启后采用并发分区读取)mysql.isPartition=
2020-08-19 13:40:48
665
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人