- 博客(189)
- 收藏
- 关注
RSS订阅原创 Kafka+redis分布式锁结合使用心得总结
detectionRuleBo.getLogText().append(StrUtil.format("{}-获取锁失败;//加锁后执行前判断是否已经处理过kafka中相同位置的信息了。//加锁 associatedKey()//锁的时间 根据业务需要进行调整。
2023-11-08 10:07:50
1081
翻译 kafka中的@KafkaListener如何动态获得topic
第一种方法：我的天啊，经过几天奋战，终于解决这个大坑，我一定要写个博客纪念一下。首先，引入依赖：org.springframework.kafkaspring-kafka很重要，一定要看好，依赖困扰了我很久其次写一个 KafkaTopicConfig类，继承InitializingBean，重写afterPropertiesSet()方法。我的如下：@Configurationpublic class KafkaTopicConfig implements InitializingBean
2021-11-12 09:18:49
3372
1
原创 数据传输加密——非对称加密算法RSA+对称算法AES(适用于java,android和Web)
https://blog.csdn.net/chay_chan/article/details/58605605https://www.jianshu.com/p/1de40d21c413
2021-09-05 11:19:14
185
原创 miaosha秒杀项目整体认识
秒杀项目整体认识 https://github.com/imyzt/imooc_miaosha 项目相关问技术问题解释https://blog.csdn.net/qq_41216743/article/details/106539159 1）redis做对象缓存：（因为redis毕竟有网络开销，有些地方可以使用conCurrentHashMap代替redis）将商品秒杀对象缓存在redis中减少mysql的io用户登录token（分布式session）常用的数据标记在redis中（如:
2021-03-31 09:33:11
624
原创 ELK-Elasticsearch地理信息存储及查询之Geo_Point
https://www.cnblogs.com/kangoroo/p/6050692.htmlhttps://blog.csdn.net/coffee_shop/article/details/107110707导语：Elasticsearch提供了丰富的搜索和分析功能，地理位置功能可以让我们把基于地理位置的搜索、聚合、计算与全文搜索、结构化搜索和分析结合到一起。在这里易观的技术小哥哥，就跟大家做一个交流和探讨。一、基本概念1. GeoHashGeoHash是一种将经纬度坐标(lat/lon
2021-03-11 15:47:02
694
原创 vscode安装go第三方扩展包填坑记录
解决go包管理代理网址无法访问：proxy.golang.org 默认使用的是proxy.golang.org，在国内无法访问 解决方法： 换一个国内能访问的代理地址：https://goproxy.cn 执行命令： go env -w GOPROXY=https://goproxy.cn 重新执行命令，完美通过！详细内容参见 https://blog.csdn.net/yxf771hotmail/article/details/88233857...
2021-01-15 15:22:28
243
原创 如果你害怕失业，这7个学习网站绝对不要错过！
1、EDX 链接：edx.org2、学堂在线 链接：next.xuetangx.com3、迅捷PDF转换器 链接：app.xunjiepdf.com4、coursera 链接：coursera.org5、稿定设计 链接：s.dancf.com/4d5B6、游达学城 链接：cn.udacity.com7、慕课网 链接：imooc.com...
2021-01-12 14:19:48
191
原创 云原生DevOps(k8s/docker/springcloudalibaba)
Spring Cloud Alibaba 专题教程 http://blog.didispace.com/spring-cloud-alibaba-learning/?from=timeline
2020-12-14 13:30:19
479
原创 ELK-1.5亿数据处理完整过程
#filebeat配置 filebeat.yml -源文件类型、路径、encoding(编码为utf-8可以忽略) -输出地方 logstash或ES filebeat启动命令 -filebeat.exe -e -c filebeat.yml#logstash配置 logstash.conf文件 -启动conf文件配置 见下面logstash-geonames.conf logstash启动命令 -logstash.bat -f ../config/
2020-12-09 16:39:20
473
转载 分步详解 Fabric 区块链网络的部署 部署一个示例的 Fabric 区块链网络
## 分步详解 Fabric 区块链网络的部署 部署一个示例的 Fabric 区块链网络前言区块链（Blockchain）技术正在迅速发展，在银行、保险、物流、新闻出版、食品安全等很多领域都开始了实际应用。可以预见，将来会有越来越多的行业会应用它。Hyperledger Fabric 是其中一个非常重要的区块链技术平台。它是一个开源的、企业级的、有许可的分布式账本技术平台，它是为用于企业环境而设计的，与一些其他流行的分布式账本技术或区块链平台相比，它提供了一些非常关键的差异化的能力。本系列文章
2020-11-25 15:09:43
1670
转载 Hyperledger fabric 2.2.1 环境搭建
Hyperledger fabric 2.2.1 环境搭建 https://www.cnblogs.com/Earth-SmaThing/p/13570540.html 最好使用root身份用户，否则很多权限被禁止(例如docker-compose命令找不到) 基础环境搭建----------------------------------------------------- ### docker 安装 如果服务器上有旧版的docker，需要先执行卸载操作。 $ sudo yum rem
2020-11-03 13:04:31
772
原创 scrapy百度POI爬虫实战项目代码(七)-各种坐标互转
# -*- coding: utf-8 -*-import jsonimport urllibimport mathx_pi = 3.14159265358979324 * 3000.0 / 180.0pi = 3.1415926535897932384626 # πa = 6378245.0 # 长半轴ee = 0.00669342162296594323 # 偏心率平方class Geocoding: def __init__(self, api_key):
2020-10-27 10:51:55
374
原创 scrapy百度POI爬虫实战项目代码(五)
middlewares.py ------------------------------------------------# Define here the models for your spider middleware## See documentation in:# https://docs.scrapy.org/en/latest/topics/spider-middleware.htmlfrom scrapy import signals# useful for handli
2020-10-26 14:11:01
166
原创 scrapy百度POI爬虫实战项目代码(六)-bdMercator_to_bdwgs84
xu = 6370996.81Sp = [1.289059486E7, 8362377.87, 5591021, 3481989.83, 1678043.12, 0]Hj = [75, 60, 45, 30, 15, 0]Au = [[1.410526172116255e-8,0.00000898305509648872,-1.9939833816331,200.9824383106796,-187.2403703815547,91.6087516669843,-23.38765649603339
2020-10-26 14:09:28
208
原创 scrapy百度POI爬虫实战项目代码(四)
settings.py --------------------------------------------# Scrapy settings for mapbarSpider project## For simplicity, this file contains only settings considered important or# commonly used. You can find more settings consulting the documentation:##
2020-10-26 14:08:04
257
原创 scrapy百度POI爬虫实战项目代码(三)
piplelines.py -------------------------------# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html# useful for handling different item ty
2020-10-26 14:06:36
118
原创 scrapy百度POI爬虫实战项目代码(二)
mapbar.py 爬虫文件--------------------------------import scrapyfrom mapbarSpider.items import AddressItemfrom copy import deepcopyfrom mapbarSpider.geocode_2 import BaiDuMercatorToWgs84from mapbarSpider.geocode import Geocodingimport json#全国各城市地名抓取，包含街道
2020-10-26 14:05:06
267
原创 scrapy百度POI爬虫实战项目代码(一)
run.py 位置根settings.py同级别-----------------------------------from scrapy.cmdline import executeimport sysimport os# 获取当前脚本路径dirpath = os.path.dirname(os.path.abspath(__file__))print(dirpath)# 添加环境变量sys.path.append(dirpath)# 启动爬虫,第三个参数为爬虫nameexecute
2020-10-26 14:03:15
184
原创 百度地图POI数据采集方案以及开发环境搭建
#获取百度地图POI数据一（详解百度返回的POI数据） http://lbsyun.baidu.com/index.php?title=webapi 数据量标准可以参看 http://lbsyun.baidu.com/apiconsole/key#/home 额度管理=>开发者权益 余慕白 博客 https://www.cnblogs.com/yumubaime/p/7172954.html1.模拟HTTP请求的方式获取其上的POI数据 打开网页的调试面板可以清楚的看到这些请求 ，以及服务器
2020-10-26 10:00:37
2072
2
原创 区块链资料整理
以太坊开发教程https://my.oschina.net/u/3794778/blog/1799957公司内部区块链技术入门培训https://cloud.tencent.com/developer/article/1525469干货！区块链入门、进阶、行业专家观点！1000篇好文帮你破解区块链密码！（上篇）https://developer.aliyun.com/article/585385?spm=a2c6h.14164896.0.0.3c2c36bfKX5s5fJava工程师入门区块链的
2020-10-15 13:51:11
462
1
原创 Java工程师成神之路
http://47.103.216.138/http://hollischuang.gitee.io/tobetopjavaer/#/basics/object-oriented/object-oriented-vs-procedure-orientedhttps://github.com/hollischuang/toBeTopJavaer
2020-09-29 14:26:03
165
原创 JAVA互联网进阶高并发、分布式、高可用、微服务、海量数据处理(一)
doocs/advanced-javahttps://github.com/doocs/advanced-java毕旺盛 最后提交于 13天前 readme updatehttps://gitee.com/biwangsheng/mxqguanpengchn/java-concurrent-programminghttps://github.com/guanpengchn/java-concurrent-programmingViscent/javamtphttps://github.com/
2020-09-22 11:06:39
136
原创 《Spark 官方文档》机器学习库（MLlib）指南
Sparkxyf/AiLearninghttps://github.com/Sparkxyf/AiLearning
2020-09-21 14:53:38
189
转载 ELK-Elasticsearch第二谈（ES核心概念、ES简单操作、构建查询、查询结果过滤排序分页、term和match查询区别、自定义查询结果高亮）
Elasticsearch第二谈（ES核心概念、ES简单操作、构建查询、查询结果过滤排序分页、term和match查询区别、自定义查询结果高亮） Elasticsearch相关概念 1、Elasticsearch面向文档、关系行数据库、和Elasticsearch对比 Elasticsearch的文件存...
2020-09-16 10:19:53
564
原创 ELK(-head)操作csv(txt)
elasticsearch-head 操作 elasticsearch 7.8 1、Filebeat（采集数据）+Elasticsearch（建立索引）+Kibana（展示） 2、Filebeat（采集数据）+Logstash（过滤）+Elasticsearch（建立索引）+Kibana（展示） ##################我们采用这种 3、Filebeat（采集数据）+Kafka/Redis/File/Console（数据传输）+应用程序（处理，存储，展示） 4、Filebeat（采
2020-09-09 14:50:45
649
原创 Flink最强学习资源合集！
王知无出品，Flink最强学习资源合集！https://www.cnblogs.com/importbigdata/p/11431859.html
2020-08-17 15:12:45
191
转载 一键式完全删除CDH 6.3.1
CDH集群的安装部署虽然步骤比较多，但只要严格按照文档操作，一般不会有太大问题。然而，如果安装过程中出错，或因为其它原因需要重新安装CDH，在不重装操作系统的前提下，是比较困难的。难点在于需要删除的东西太多，不删干净了非常容易造成安装失败。网上找的所谓“CDH完全卸载”其实都不够完全。经过一天的反复尝试，终于写了一个一键式删除CDH脚本，在我自己的测试环境下是可行的。删除脚本文件remove_cloudera.sh内容如下：#!/bin/bash# 停止CM服务service cloudera-s
2020-08-14 13:31:41
468
原创 Centos7安装大数据平台CDH 6.2-一些细节补充
centos7 + CM6.2.0root 123456mysql8.0.xxmysql-connect-java-1.54.xx1、图形界面下的terminal实际上是用一个应用程序连接到terminal的；2、可以使用以下命令：GUI和命令界面切换命令 ctrl+alt+F2 alt+F13、vim/vi的三种模式(vim 是vi 的升级版本)正常模式——按Esc进入， 左下角显示文件名或为空 ，输入vim命令前都需要先按Esc！该模式下又分为命令模式操作和末行模式操
2020-08-12 16:01:02
585
原创 计算机的cup颗数、核数、线程数
只要买过/卖过电脑，肯定听过这几个名词；1.cpu颗数：封装在集成电路（IC）中的处理器个数， 普通计算机多为单颗cup。2.cpu核数：是指物理上，也就是单颗CPU上存在着几个核心。比如，双核就是包括2个相对独立的CPU核心单元组，四核就包含4个相对独立的CPU核心单元组。3.cup支持的线程数：是一种逻辑的概念，简单地说，就是模拟出的CPU核心数。比如，可以通过一个CPU核心数模拟出2线程的CPU，也就是说，这个单核心的CPU被模拟成了一个类似双核心CPU的功能。我们从任务管理器的性能标签
2020-08-10 17:02:22
4162
1
原创 Centos7安装大数据平台CDH 6.2-HA
前提 zookeeper 集群已经启动起来了cloudera manager配置HDFS HA的高可用注意*最好在第一次部署集群是就进行HA配置，这样namenode datanode都是干净的不会出现namemode format失败，namenode和datanode clusterID不一致问题注意*确保namemode节点目录路径权限， 确保hdfs上创建/tmp目录，/user目录 chown hdfs:root -R /dfs 或 chown hdfs:hadoop -R /dfs
2020-08-06 15:37:10
202
原创 Centos7安装大数据平台CDH 6.2-实践验证可行
CDH 和Cloudera Manager介绍1.CDH介绍目前Hadoop比较流行的主要有2个版本，Apache和Cloudera版本。Apache Hadoop：社区人员比较多，更新频率比较快，但是稳定性比较差，安装配置繁琐，实际使用者少。Cloudera Hadoop（CDH）：Cloudera公司的发行版本，基于Apache Hadoop的二次开发，优化了组件兼容和交互接口、简化安装配置、提供界面统一管理程序。CDH 提供以下特性：灵活性：存储任何类型的数据并使用各种不同的计算框
2020-08-03 16:54:12
561
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人