- 博客(58)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 微服务幂等性
1 幂等场景用户重复操作：用户在使用产品时，可能会无意的触发多笔交易，甚至没有响应而有意触发多笔交易网络波动：因网络波动，可能会引起重复请求分布式消息消费：任务发布后，使用分布式消息服务来进行消费未关闭的重试机制：因开发人员、测试人员或运维人员没有检查出来，而开启的重试机制（如Nginx重试、RPC通信重试或业务层重试等）2 幂等性分析新增类请求数据库自增主键，不具备幂等性查询类动作重复查询不会产生或变更新的数据，因此查询是天然具备幂等性更新类请求基于条件查询的Update，不一
2021-02-12 13:58:37
367
1
原创 SpringSecurity和JWT实现认证和授权
SpringSecuritySpringSecurity是一个强大的可高度定制的认证和授权框架，对于Spring应用来说它是一套Web安全标准。SpringSecurity注重于为Java应用提供认证和授权功能，像所有的Spring项目一样，它对自定义需求具有强大的扩展性。JWTJWT是JSON WEB TOKEN的缩写，它是基于 RFC 7519标准定义的一种可以安全传输的的JSON对象，由于使用了数字签名，所以是可信任和安全的。JWT的组成WT token的格式：header.pa
2021-02-10 22:00:31
525
1
原创 微服务容错保护：Hystrix
Hystrix 简介在微服务架构中，服务与服务之间通过远程调用的方式进行通信，一旦某个被调用的服务发生了故障，其依赖服务也会发生故障，此时就会发生故障的蔓延，最终导致系统瘫痪。Hystrix实现了断路器模式，当某个服务发生故障时，通过断路器的监控，给调用方返回一个错误响应，而不是长时间的等待，这样就不会使得调用方由于长时间得不到响应而占用线程，从而防止故障的蔓延。Hystrix具备服务降级、服务熔断、线程隔离、请求缓存、请求合并及服务监控等强大功能。在pom.xml中添加相关依赖<depen
2021-01-31 19:04:06
162
原创 spark 2.x spark算子调优
算子调优一：mapPartitions普通的map算子对RDD中的每一个元素进行操作，而mapPartitions算子对RDD中每一个分区进行操作。如果是普通的map算子，假设一个partition有1万条数据，那么map算子中的function要执行1万次，也就是对每个元素进行操作。spark map 算子如果是mapPartition算子，由于一个task处理一个RDD的partition，那么一个task只会执行一次function，function一次接收所有的partition数据
2020-05-27 08:06:27
267
原创 医疗实时流日志分析
2.6 spark实战案例：实时日志分析2.6.1 交互流程图2.6.2 客户端监听器（java）@SuppressWarnings(&amp;amp;amp;amp;amp;amp;quot;static-access&amp;amp;amp;amp;amp;amp;quot;) private void handleSocket() { lock.lock(); Writer writer = null; RandomAccessFile
2019-02-13 14:13:24
1165
原创 spark sql常用action
2.4 sparkContext IO:读2.4.1 textFile # Load a text file and convert each line to a Row. lines = sc.textFile("examples/src/main/resources/people.txt")2.4.2 hadoopFile2.4.3 newAPIHadoopFile...
2019-02-13 13:59:16
347
原创 spark RDD 函数API指南
2.2 RDD:计算 transform-&amp;amp;gt;action2.2.1 aggregatex = sc.parallelize([2,3,4], 2)[Task不能跨分片，task数为2]neutral_zero_value = (0,1) # sum: x+0 = x, product: 1*x = xseqOp = (lambda aggregated, el: (aggreg...
2019-02-13 13:52:57
433
原创 spark (python远程开发调试)
2.1 pycharm远程开发调试2.1.1 python版本一致#版本都保持3.6.6#root cd /usr/local/python3/bin/pip3 list备注：[python模块导入顺序是从sys.path中取，可以代码加入到sys.path。当前目录-&gt;PYTHONPATH-&gt;安装目录，所以设置了PYTHONPATH，这里模块安装自动引进来。]#检查...
2019-02-13 13:30:07
282
原创 hadoop spark之常用配置
1.2 安装配置1.2.1 安装jdk1.8#root vim /etc/profileexport JAVA_HOME=/data/software/jdk1.8.0_191export JRE_HOME=JAVAHOME/jreexportCLASSPATH=.:{JAVA_HOME}/jre export CLASSPATH=.:JAVAHOME/jreexportC...
2019-02-13 13:22:13
600
原创 hadoop spark之基础环境
1 基础环境1.1.1 关闭selinux#查看状态：/usr/sbin/sestatus#disabled vim /etc/selinux/config#重启 reboot1.1.2 关闭防火墙#查看防火墙规则 firewall-cmd --list-all#查询端口是否开放 firewall-cmd --query-port=8080/tcp#开放80端口...
2019-02-13 12:53:58
225
原创 机器学习系列之特征工程
'''@description 特征工程 - Preprocess 1 框架：scikit-learn，依赖模块：scipy、pandas、numpy 2 pip3 install scikit-learn -i http://pypi.douban.com/simple --trusted-host pypi.douban.com 3 模型 = 数据 + 算法 ...
2018-08-03 18:11:00
270
翻译 IT 职场英语技能（西式招聘JD）
C/C++ developement engineer Responsibility： * Your job area will be from high throughput low latency exchange gateway to market making trading platform and distributed automatic trading system...
2018-05-30 13:21:26
1055
原创 众筹空间（区块链技术探索）
1 基础环境准备1.1环境预览1.2基础工程Npm install -g truffleNpm install -g EthereumJS TestRPCNpm install -g supervisorTruffle initNpm init1.3疑难解答Web3依赖c++build tools python（only for python2....
2018-05-29 12:30:06
1422
原创 一分钟：Nginx+Keepalived部署
1基础环境 测试机器1 192.168.0.251 MASTER Keepalived+nginx 测试机器2 192.168.0.252 BACKUP Keepalived+nginx 虚拟vip 192.168.0.100 Vip 2 nginx配置 251/252都安装nginx,开放统一端口1000server { listen ...
2018-01-05 21:44:13
503
原创 一分钟：微服务架构演进
优点： 1）内网与外网分离 2）暴露外网ip之有网关，网关统一路由做全局权限、公共访问拦截处理 3）内部服务多节点部署，增加服务延续性，可水平扩展缺点： 1）网关单节点，或者nginx代理多节点，nginx宕掉怎么办？ 2）Nginx宕掉，正在访问处理怎么办？解决方案： 方案一：dns轮询服务网关优点： 1）可灵活水平扩展服务网关节点 2）DNS轮询技术从成熟，增加节点
2018-01-05 21:40:14
753
原创 hive常用配置
05年项目使用spark+hadoop，最近公司分享给小伙伴们，就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列，有些数据是网上搜索下载的，同时整理时也参考其他博文以及《spark实战》
2017-09-30 13:04:15
378
原创 spark hadoop 基础配置
05年项目使用spark+hadoop，最近公司分享给小伙伴们，就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列，有些数据是网上搜索下载的，同时整理时也参考其他博文以及《spark实战》
2017-09-30 11:51:21
1005
原创 mysql主从应用
mysql主从、主主复制应用场景很多，其原理主推，从定时根据binlog增量拉取更新。如果主/从机器硬件负载过高，或者网络延迟就会造成同步延迟。延迟是必然，mysql复制同步解决的是数据高可用问题提供延后一致性。要解决完全一致性，需要解决的高并发问题 - 可以从业务粒度考虑，增加nosql中间层或者mysql proxy或者mysql 5.7提供了完全一致性方案，但数据层来处理这些问题不可取！
2017-08-01 11:06:12
687
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人