![](https://img-blog.csdnimg.cn/20190927151101105.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据技术
文章平均质量分 52
大数据相关技术及常见问题和经验。
程序猿20
这个作者很懒,什么都没留下…
展开
-
clickhouse通过jdbc实现批量数据导入代码示例
clickhouse通过jdbc实现批量数据导入代码示例原创 2022-10-09 09:41:25 · 6720 阅读 · 0 评论 -
clickhouse数据导入遇到的问题
clickhouse数据导入遇到的问题原创 2022-10-08 10:00:47 · 5252 阅读 · 2 评论 -
windows环境下mongodb 5.0.9分片集群环境搭建
windows环境下mongodb 5.0.9分片集群环境搭建原创 2022-06-24 11:00:54 · 1189 阅读 · 0 评论 -
elasticsearch分页查询(浅分页、滚动分页、search_after 分页)
elasticsearch分页查询四种解决方案,from+size浅分页,scroll标准方式,scroll-scan 滚动扫描方式以及search_after 分页。原创 2022-03-22 14:44:49 · 2395 阅读 · 0 评论 -
spark-webui添加用户名和密码认证
spark-webui添加用户名和密码认证原创 2022-03-11 11:20:15 · 3762 阅读 · 2 评论 -
elasticsearch 8.0 linux安装部署
elasticsearch 8.0 linux安装部署原创 2022-03-08 17:23:44 · 5564 阅读 · 2 评论 -
logstash7.15.1 导入ngnix日志在kibana根据ip在地图进行统计展示
logstash7.15.1 导入ngnix日志在kibana根据ip在地图进行统计展示原创 2022-03-05 09:45:26 · 724 阅读 · 0 评论 -
Logstash7.15.1正则提取日志信息(nginx日志及自定义)
Logstash7.15.1正则提取日志信息(nginx日志及自定义)原创 2022-03-03 16:25:12 · 2921 阅读 · 0 评论 -
kafka常见问题(持续更新)
kafka常见问题(持续更新)原创 2022-03-03 09:04:52 · 709 阅读 · 0 评论 -
elasticsearch7.5.1 kibana数据可视化(柱状图)
elasticsearch7.5.1 kibana数据可视化(柱状图)原创 2022-03-02 17:25:48 · 1644 阅读 · 3 评论 -
elasticsearch7.5.1修改字段的数据类型
elasticsearch7.5.1修改字段的数据类型原创 2022-03-02 17:01:00 · 1676 阅读 · 0 评论 -
flink 1.14.3 checkpoint 参数说明及应用于持续升级
flink 1.14.3 checkpoint 参数说明及应用于持续升级原创 2022-03-02 14:20:50 · 1267 阅读 · 0 评论 -
elasticsearch7.5.1通过kibana去重统计和分组统计数据
elasticsearch7.5.1通过kibana去重统计和分组统计数据原创 2022-03-02 13:29:44 · 4266 阅读 · 0 评论 -
logstash7.15.1读取ngnix的access日志文件并写入elasticsearch7.5.1
logstash7.15.1读取ngnix的access日志文件并写入elasticsearch7.5.1原创 2022-03-02 10:54:24 · 441 阅读 · 0 评论 -
flink 1.10.1 java版本自定义输入和输出
通过自定义输入和输出,可以极大程度地适应业务需求。不管是输入数据,还是输出数据,都可以和文件,数据库,消息队列,redis,网络服务等进行交互,实现数据传输。原创 2022-02-28 18:00:06 · 787 阅读 · 0 评论 -
spark stream 3.2.1(scala版本)将kafka消费偏移记录到zookeeper
为了实现从kafka读取数据时,避免从头开始的重复读,也避免从最新开始的跳过数据读,有必要在读取数据并处理成功后,记录消费偏移量。当系统重启或者升级维护后,就可以继续从上次处理完成的位置进行继续读取了。原创 2022-02-28 15:06:06 · 492 阅读 · 0 评论 -
spark(scala版本)提交jar到集群环境的常见问题
spark(scala版本)提交jar到集群环境的常见问题,包括找不到启动类,不显示运行应用问题 Running Applications (0)的问题和集群环境有的包,pom.xml配置依赖时使用provided。原创 2022-02-28 11:06:19 · 1140 阅读 · 0 评论 -
spark提交jar到集群环境的步骤和注意事项
spark提交jar到集群环境的步骤和注意事项原创 2022-02-23 13:30:32 · 2096 阅读 · 0 评论 -
flink 1.14.3集群jar部署Recovery is suppressed by NoRestartBackoffTimeStrategy
flink 1.14.3集群jar部署Recovery is suppressed by NoRestartBackoffTimeStrategy原创 2022-02-21 17:30:54 · 30077 阅读 · 3 评论 -
java布隆过滤器实现数据是否存在的判断
java布隆过滤器实现数据是否存在的判断原创 2022-02-21 13:35:28 · 1554 阅读 · 0 评论 -
zookeeper集群的安装和配置
zookeeper集群的安装和配置原创 2022-02-19 18:13:12 · 457 阅读 · 0 评论 -
logstash7.15.1读取文件并写入elasticsearch7.5.1(多行编码和过滤器)
logstash7.15.1读取文件并写入elasticsearch7.5.1(多行编码和过滤器)原创 2022-02-19 15:44:44 · 795 阅读 · 0 评论 -
spark stream 3.0.0 scala版kafka消息按天统计并更新到mysql
spark stream 3.0.0 scala版kafka消息按天统计并更新到mysql原创 2022-02-18 16:22:35 · 745 阅读 · 0 评论 -
spark stream 3.0.0 scala版本读取kafka消息统计写入mysql
spark stream 3.0.0 scala版本读取kafka消息统计写入mysql原创 2022-02-18 14:38:50 · 1415 阅读 · 0 评论 -
spark stream 3.0.0 scala版本写入kafka消息数据
spark stream 3.0.0 scala版本写入kafka消息数据原创 2022-02-18 10:55:53 · 774 阅读 · 0 评论 -
scala中的左右单箭头(->和<-)、双箭头(=>)
scala中的左右单箭头(->和<-)、双箭头(=>)原创 2022-02-18 09:53:23 · 1429 阅读 · 0 评论 -
scala的class和object中的apply()方法
scala的class和object中的apply()方法原创 2022-02-17 17:57:33 · 615 阅读 · 0 评论 -
kafka中消费者、消费者组、topic和partition的关系
kafka中消费者、消费者组、topic和partition的关系原创 2022-02-17 11:14:09 · 7928 阅读 · 0 评论 -
kafka2.12-2.3.0消息日志保留策略
kafka消息日志保留策略原创 2022-02-17 09:37:14 · 420 阅读 · 0 评论 -
spark stream 3.0.0 scala版本接收kafka消息并计算wordcount
spark stream scala版本读取kafka消息并计算wordcount。原创 2022-02-16 15:57:49 · 623 阅读 · 0 评论 -
spark streaming 3.0.0 scala版本nc计算wordcount
spark streaming scala版本wordcount原创 2022-02-16 13:57:58 · 412 阅读 · 0 评论 -
flink 1.10.1 java版本sql OverWindow示例(每事件出结果)
flink 1.10.1 java版本sql OverWindow示例原创 2022-02-15 14:26:20 · 350 阅读 · 0 评论 -
flink 1.10.1 java版本sql GroupWindow示例(关窗出结果)
flink 1.10.1 java版本sql GroupWindow示例原创 2022-02-15 14:01:08 · 531 阅读 · 0 评论 -
flink 1.10.1 java版本table api和flink sql Demo
flink 1.10.1 java版本table api和flink sql Demo原创 2022-02-15 10:46:50 · 421 阅读 · 0 评论 -
flink 1.10.1 java版本窗口计算案例(全量、增量、排序)
flink 1.10.1 java版本窗口计算案例(全量、增量、排序)原创 2022-02-14 18:09:07 · 1526 阅读 · 0 评论 -
flink 1.10.1 java版本全量窗口apply计算案例
flink 1.10.1 java版本窗口计算案例原创 2022-02-11 10:35:27 · 627 阅读 · 0 评论 -
flink 1.10.1 cep java版本案例(订单超时未支付)
flink 1.10.1 cep java版本案例(订单超时未支付)原创 2022-02-10 18:04:34 · 610 阅读 · 0 评论 -
flink 1.10.1 cep java版本案例(实时统计每个商户当日订单数和交易金额)
Flink案例 - 实时统计每个商户当日订单数和交易金额原创 2022-02-10 16:36:35 · 3289 阅读 · 0 评论 -
Flink Watermark相关概念(窗口、水位线、迟到事件)
Flink Watermark基本概念(窗口、水位线、迟到事件)原创 2022-02-10 11:37:20 · 456 阅读 · 0 评论 -
flink 1.10.1 cep java版本案例(登录连续失败检测)
flink 1.10.1 cep java版本案例(登录连续失败检测)原创 2022-02-10 10:19:35 · 1147 阅读 · 0 评论