大数据高并发
文章平均质量分 80
cjrjc
我的小目标:北京有套房
展开
-
分布式事务:seata
Seata 是一款开源的分布式事务解决方案,致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式,为用户打造一站式的分布式解决方案。AT模式是阿里首推的模式,阿里云上有商用版本的GTS(Global Transaction Service 全局事务服务)。...转载 2022-06-06 10:50:27 · 536 阅读 · 0 评论 -
搭建kafka2.12-1.0.0+storm1.1.1集群
各应用程序及版本CentOS65jdk1.8.0_121storm1.1.1zookeeper3.4.10kafka2.12-1.0.0redis4.0.5storm、zookeeper、kafka可从apache.org网站获取相应版本,建议版本与本文档一致;否则后续的示例程序可能会有乱码等不可知异常。服务器IP及拓朴结构storm安装配置storm安装在/app/apache-storm-1....原创 2018-01-31 15:13:54 · 1488 阅读 · 0 评论 -
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
在eclipse运行spark的JavaWordCount,报错Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)经查,是pom.xml中spark版本不一致造成原来的配置 <dependency> <groupI...原创 2018-03-07 15:55:12 · 650 阅读 · 0 评论 -
eclipse运行hadoop的job提示Invalid host name: local host is: (unknown)
hadoop集群的namenode安装在centos65上,主机名为CentOS65App,同时在CentOS65App上也安装了eclipse,在eclipse中运行hadoop的Job代码,提示Exception in thread "main" java.net.UnknownHostException: Invalid host name: local host is: (unknown)...原创 2018-02-27 22:20:21 · 5041 阅读 · 2 评论 -
别再比较Hadoop和Spark了,那不是设计人员的初衷
转自 http://www.huochai.mobi/p/d/3967708/?share_tid=8a45e6730b9e&fmid=10786192对Hadoop与Spark孰优孰劣这个问题,最准确的观点就是,设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。直接比较Hadoop和Spark有难度,因为它们处理的许多任务都一样,但是在一些方面又并不相互重叠。比如说,Spa...转载 2018-03-06 17:28:28 · 169 阅读 · 0 评论 -
不同微服务独立数据库,如何保障微服务架构下的数据一致性
虽然已经红了很久,但是“微服务架构”正变得越来越重要,也将继续火下去。各个公司与技术人员都在分享微服务架构的相关知识与实践经验,但我们发现,目前网上的这些相关文章中,要么上来就是很有借鉴意义的干货,要么就是以高端的专业术语来讲述何为微服务架构。就是没有一个做到成熟地将技术传播出来,同时完美地照顾“初入微服务领域人员”,从 0 开始,采用通俗易懂的语言去讲解微服务架构的系列。所以,我们邀请青柳云的苏...转载 2019-01-06 08:03:25 · 453 阅读 · 0 评论 -
不要在微服务架构中使用单一数据库
来自: 21CTO(微信号:we21cto),编译:老夏,原文链接导读:当你把团队的整个代码库拆分,并转移到微服务架构时,不要忘记还有一个更重要的数据库设计。本篇文章告诉我们,如何拆分单一数据库。 当我们分解应用程序,采用微服务架构时,还有一点是,要重点关注单一数据库的改造。架构师们需要一个更可靠的策略来将单一数据库拆分为与应用程序一致的多个数据库。即将应用程序或服务中的单一共享式...转载 2019-01-06 08:10:50 · 3492 阅读 · 0 评论 -
ZooKeeper典型应用场景一览
ZooKeeper典型应用场景一览 数据发布与订阅(配置中心) 发布与订阅模型,即所谓的配置中心,顾名思义就是发布者将数据发布到ZK节点上,供订阅者动态获取数据,实现配置信息的集中式管理和动态更新。例如全局的配置信息,服务式服务框架的服务地址列表等就非常适合使用。 应用中用到的一些配置信息放到ZK上进行集中管理。这类场景通常是这样:应用在启动的时候会主动来获取一...转载 2019-01-09 18:28:20 · 151 阅读 · 0 评论 -
高并发高性能分布式框架从无到有微服务架构设计分享
微服务架构模式(Microservice Architect Pattern)。近两年在服务的疯狂增长与云计算技术的进步,让微服务架构受到重点关注微服务架构是一种架构模式,它提倡将单一应用程序划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值。每个服务运行在其独立的进程中,服务与服务间采用轻量级的通信机制互相沟通(通常是基于HTTP的RESTful API)。每个服务都围绕着具...转载 2019-02-11 16:59:30 · 257 阅读 · 0 评论 -
kafka常用命令行(转)
创建kafka topicbin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30 --replication-factor 2注: partitions指定topic分区数,replication-factor指定topic每个分区的副本数partitions分区数:转载 2018-01-23 09:08:13 · 437 阅读 · 0 评论 -
hyper-v给centos65虚拟机磁盘扩容
在win10企业版,用hyper-v创建了几个centos虚拟机,学习大数据。起初每台虚拟机分配了10G的固定磁盘空间。装了jdk1.8、tomcat7、activemq5.15.2 、mysql5.7.20、keepalived1.2.13、zookeeper3.4.10、redis4.05、hadoop2.9之后就已经占了80%的空间。尤其是装了nagios4.0.8,天天看到磁盘空间告警。后...原创 2018-01-10 17:02:18 · 3426 阅读 · 0 评论 -
Jmeter性能测试 入门
from https://www.cnblogs.com/TankXiao/p/4045439.htmlJmeter性能测试 入门Jmeter是一款优秀的开源测试工具, 是每个资深测试工程师,必须掌握的测试工具,熟练使用Jmeter能大大提高工作效率。熟练使用Jmeter后, 能用Jmeter搞定的事情,你就不会使用LoadRunner了。【小坦克Jmeter教程】,将会覆转载 2017-11-20 09:56:16 · 297 阅读 · 0 评论 -
高并发下线程安全的单例模式(最全最经典)
转载自:http://blog.csdn.net/cselmu9/article/details/51366946在所有的设计模式中,单例模式是我们在项目开发中最为常见的设计模式之一,而单例模式有很多种实现方式,你是否都了解呢?高并发下如何保证单例模式的线程安全性呢?如何保证序列化后的单例对象在反序列化后任然是单例的呢?这些问题在看了本文之后都会一一的告诉你答案,赶快来阅读吧!什么是单例模转载 2017-11-15 14:37:20 · 295 阅读 · 0 评论 -
在一个千万级的数据库查寻中,如何提高查询效率?
https://www.2cto.com/database/201503/381295.html在一个千万级的数据库查寻中,如何提高查询效率?1)数据库设计方面:a. 对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 b. 应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃转载 2017-11-23 08:31:02 · 320 阅读 · 0 评论 -
activemq-5.14在centos开机启动
from http://blog.csdn.net/maweiba163/article/details/51602558场景:有的时候服务器不可避免需要重新启动, activemq 不可避免需要跟着重新手工去启动;通过设置 自启动管理来减少手工操作压力处理方案: 1、安装并保证 apache-activemq-5.14.0 可以通过 /bin/activem转载 2017-11-30 11:32:54 · 715 阅读 · 0 评论 -
Zookeeper在storm中扮演的角色
from http://gaojingsong.iteye.com/blog/2313927一、Zookeeper在storm充当的作用Storm的所有的状态信息都是保存在Zookeeper里面,nimbus通过在zookeeper上面写状态信息来分配任务,supervisor,task通过从zookeeper中读状态来领取任务,同时supervisor, task也会定义发送心跳转载 2018-01-22 21:10:28 · 1478 阅读 · 0 评论 -
spring整合activemq传递对象注意事项
初衷:两个项目分别部署在两台服务器上,项目之间以activemq传递object消息拓朴结构:服务器A:tomcat,项目A--生产者服务器B:tomcat、activemq、项目B--消费者项目A主要代码src/main/resources/ActiveMQ.xml<beans xmlns="http://www.springframework.org/sc原创 2018-01-11 15:42:47 · 2361 阅读 · 0 评论 -
解决storm1.1.1集群找不到nimbus异常
各应用程序及版本storm1.1.1zookeeper3.4.10拓朴结构nimbus、ui:CentOS65Appsupervisor:CentOS65M1、CentOS65M2、CentOS65M3配置文件zoo.cfg,zookeeper仅安装在三台supervisor服务器server.6=CentOS65M1:2888:3888serve原创 2018-01-17 16:32:46 · 10001 阅读 · 0 评论 -
如何处理大量数据高并发大流量并发操作方案
文/赖忠标大数据并发处理解决方案:1、HTML静态化 效率最高、消耗最小的就是纯静态化的html页面,所以尽可能使网站上的页面采用静态页面来实现,这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站,无法全部手动去挨个实现,于是出现了常见的信息发布系统CMS,像常访问的各个门户站点的新闻频道,甚至他们的其他频道,都是通过信息发布系统来管理和实现的,信息发布系统可以实转载 2017-11-14 16:24:16 · 1087 阅读 · 0 评论