大数据技术
关注
分享
扫一扫
文章平均质量分 52
大数据相关技术及常见问题和经验。
程序猿20
这个作者很懒，什么都没留下…
展开
-
clickhouse通过jdbc实现批量数据导入代码示例
clickhouse通过jdbc实现批量数据导入代码示例原创 2022-10-09 09:41:25 · 7633 阅读 · 0 评论 -
clickhouse数据导入遇到的问题
clickhouse数据导入遇到的问题原创 2022-10-08 10:00:47 · 5703 阅读 · 2 评论 -
windows环境下mongodb 5.0.9分片集群环境搭建
windows环境下mongodb 5.0.9分片集群环境搭建原创 2022-06-24 11:00:54 · 1300 阅读 · 0 评论 -
elasticsearch分页查询（浅分页、滚动分页、search_after 分页）
elasticsearch分页查询四种解决方案，from+size浅分页，scroll标准方式，scroll-scan 滚动扫描方式以及search_after 分页。原创 2022-03-22 14:44:49 · 3551 阅读 · 0 评论 -
spark-webui添加用户名和密码认证
spark-webui添加用户名和密码认证原创 2022-03-11 11:20:15 · 4055 阅读 · 2 评论 -
elasticsearch 8.0 linux安装部署
elasticsearch 8.0 linux安装部署原创 2022-03-08 17:23:44 · 5824 阅读 · 2 评论 -
logstash7.15.1 导入ngnix日志在kibana根据ip在地图进行统计展示
logstash7.15.1 导入ngnix日志在kibana根据ip在地图进行统计展示原创 2022-03-05 09:45:26 · 769 阅读 · 0 评论 -
Logstash7.15.1正则提取日志信息（nginx日志及自定义）
Logstash7.15.1正则提取日志信息（nginx日志及自定义）原创 2022-03-03 16:25:12 · 3021 阅读 · 0 评论 -
kafka常见问题（持续更新）
kafka常见问题（持续更新）原创 2022-03-03 09:04:52 · 758 阅读 · 0 评论 -
elasticsearch7.5.1 kibana数据可视化（柱状图）
elasticsearch7.5.1 kibana数据可视化（柱状图）原创 2022-03-02 17:25:48 · 1835 阅读 · 3 评论 -
elasticsearch7.5.1修改字段的数据类型
elasticsearch7.5.1修改字段的数据类型原创 2022-03-02 17:01:00 · 1905 阅读 · 0 评论 -
flink 1.14.3 checkpoint 参数说明及应用于持续升级
flink 1.14.3 checkpoint 参数说明及应用于持续升级原创 2022-03-02 14:20:50 · 1362 阅读 · 0 评论 -
elasticsearch7.5.1通过kibana去重统计和分组统计数据
elasticsearch7.5.1通过kibana去重统计和分组统计数据原创 2022-03-02 13:29:44 · 4615 阅读 · 0 评论 -
logstash7.15.1读取ngnix的access日志文件并写入elasticsearch7.5.1
logstash7.15.1读取ngnix的access日志文件并写入elasticsearch7.5.1原创 2022-03-02 10:54:24 · 480 阅读 · 0 评论 -
flink 1.10.1 java版本自定义输入和输出
通过自定义输入和输出，可以极大程度地适应业务需求。不管是输入数据，还是输出数据，都可以和文件，数据库，消息队列，redis，网络服务等进行交互，实现数据传输。原创 2022-02-28 18:00:06 · 834 阅读 · 0 评论 -
spark stream 3.2.1（scala版本）将kafka消费偏移记录到zookeeper
为了实现从kafka读取数据时，避免从头开始的重复读，也避免从最新开始的跳过数据读，有必要在读取数据并处理成功后，记录消费偏移量。当系统重启或者升级维护后，就可以继续从上次处理完成的位置进行继续读取了。原创 2022-02-28 15:06:06 · 552 阅读 · 0 评论 -
spark（scala版本）提交jar到集群环境的常见问题
spark（scala版本）提交jar到集群环境的常见问题，包括找不到启动类，不显示运行应用问题 Running Applications (0)的问题和集群环境有的包，pom.xml配置依赖时使用provided。原创 2022-02-28 11:06:19 · 1245 阅读 · 0 评论 -
spark提交jar到集群环境的步骤和注意事项
spark提交jar到集群环境的步骤和注意事项原创 2022-02-23 13:30:32 · 2232 阅读 · 0 评论 -
flink 1.14.3集群jar部署Recovery is suppressed by NoRestartBackoffTimeStrategy
flink 1.14.3集群jar部署Recovery is suppressed by NoRestartBackoffTimeStrategy原创 2022-02-21 17:30:54 · 31308 阅读 · 3 评论 -
java布隆过滤器实现数据是否存在的判断
java布隆过滤器实现数据是否存在的判断原创 2022-02-21 13:35:28 · 1669 阅读 · 0 评论 -
zookeeper集群的安装和配置
zookeeper集群的安装和配置原创 2022-02-19 18:13:12 · 501 阅读 · 0 评论 -
logstash7.15.1读取文件并写入elasticsearch7.5.1（多行编码和过滤器）
logstash7.15.1读取文件并写入elasticsearch7.5.1（多行编码和过滤器）原创 2022-02-19 15:44:44 · 859 阅读 · 0 评论 -
spark stream 3.0.0 scala版kafka消息按天统计并更新到mysql
spark stream 3.0.0 scala版kafka消息按天统计并更新到mysql原创 2022-02-18 16:22:35 · 819 阅读 · 0 评论 -
spark stream 3.0.0 scala版本读取kafka消息统计写入mysql
spark stream 3.0.0 scala版本读取kafka消息统计写入mysql原创 2022-02-18 14:38:50 · 1492 阅读 · 0 评论 -
spark stream 3.0.0 scala版本写入kafka消息数据
spark stream 3.0.0 scala版本写入kafka消息数据原创 2022-02-18 10:55:53 · 845 阅读 · 0 评论 -
scala中的左右单箭头（-＞和＜-）、双箭头（=＞）
scala中的左右单箭头（->和<-）、双箭头（=>）原创 2022-02-18 09:53:23 · 1594 阅读 · 0 评论 -
scala的class和object中的apply()方法
scala的class和object中的apply()方法原创 2022-02-17 17:57:33 · 682 阅读 · 0 评论 -
kafka中消费者、消费者组、topic和partition的关系
kafka中消费者、消费者组、topic和partition的关系原创 2022-02-17 11:14:09 · 9240 阅读 · 0 评论 -
kafka2.12-2.3.0消息日志保留策略
kafka消息日志保留策略原创 2022-02-17 09:37:14 · 504 阅读 · 0 评论 -
spark stream 3.0.0 scala版本接收kafka消息并计算wordcount
spark stream scala版本读取kafka消息并计算wordcount。原创 2022-02-16 15:57:49 · 670 阅读 · 0 评论 -
spark streaming 3.0.0 scala版本nc计算wordcount
spark streaming scala版本wordcount原创 2022-02-16 13:57:58 · 462 阅读 · 0 评论 -
flink 1.10.1 java版本sql OverWindow示例（每事件出结果）
flink 1.10.1 java版本sql OverWindow示例原创 2022-02-15 14:26:20 · 394 阅读 · 0 评论 -
flink 1.10.1 java版本sql GroupWindow示例（关窗出结果）
flink 1.10.1 java版本sql GroupWindow示例原创 2022-02-15 14:01:08 · 564 阅读 · 0 评论 -
flink 1.10.1 java版本table api和flink sql Demo
flink 1.10.1 java版本table api和flink sql Demo原创 2022-02-15 10:46:50 · 485 阅读 · 0 评论 -
flink 1.10.1 java版本窗口计算案例（全量、增量、排序）
flink 1.10.1 java版本窗口计算案例（全量、增量、排序）原创 2022-02-14 18:09:07 · 1617 阅读 · 0 评论 -
flink 1.10.1 java版本全量窗口apply计算案例
flink 1.10.1 java版本窗口计算案例原创 2022-02-11 10:35:27 · 658 阅读 · 0 评论 -
flink 1.10.1 cep java版本案例（订单超时未支付）
flink 1.10.1 cep java版本案例（订单超时未支付）原创 2022-02-10 18:04:34 · 699 阅读 · 0 评论 -
flink 1.10.1 cep java版本案例（实时统计每个商户当日订单数和交易金额）
Flink案例 - 实时统计每个商户当日订单数和交易金额原创 2022-02-10 16:36:35 · 3990 阅读 · 0 评论 -
Flink Watermark相关概念（窗口、水位线、迟到事件）
Flink Watermark基本概念（窗口、水位线、迟到事件）原创 2022-02-10 11:37:20 · 516 阅读 · 0 评论 -
flink 1.10.1 cep java版本案例（登录连续失败检测）
flink 1.10.1 cep java版本案例（登录连续失败检测）原创 2022-02-10 10:19:35 · 1217 阅读 · 0 评论