![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
我自横刀向天笑-去留肝胆两昆仑
这个作者很懒,什么都没留下…
展开
-
storm+kafka集成
pom.xml依赖<dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>21.0</version></dependency><depende...原创 2019-10-29 22:04:33 · 171 阅读 · 0 评论 -
docker搭建storm集群
storm下载docker pull storm启动nimbus节点docker run -d --restart always --name nimbus --link zookeeper:zookeeper -v /data/***/logs:/data/ storm storm nimbus–link zookeeper:zookeeper 使用zookeeper容器,将其别名...原创 2019-10-29 22:03:19 · 899 阅读 · 0 评论 -
基于 Docker 构建 Hadoop 平台
基于Docker的Hadoop集群构建0. 绪论使用Docker搭建Hadoop技术平台,包括安装Docker、Java、Scala、Hadoop、 Hbase、Spark。集群共有5台机器,主机名分别为 h01、h02、h03、h04、h05。其中 h01 为 master,其他的为 slave。JDK 1.8Scala 2.11.6Hadoop 3.2.0Hbase 2.1.3Spark 2....转载 2019-10-29 21:43:09 · 1159 阅读 · 4 评论 -
Tomcat9部署Solr与分词器(Mac版)
Solr介绍 Apache Solr 是建立在Lucene(全文搜索引擎)之上,帮助我从大量的数据中寻找所需信息。不仅限于搜索,Solr也可用于储存目的。像其他NoSQL数据库一样,它是一种非关系数据储存和处理技术软件下载在 Apache Solr官网 下载最新版的Solr,在 Apache Tomcat官网 下载Tomcat解压解压Solr,目录结构如下完整配置将solr-8...原创 2019-10-18 21:05:19 · 282 阅读 · 0 评论 -
开发者说 | 分布式事务中间件 Seata 的设计原理
转自 分布式事务中间件 Seata 的设计原理导读微服务架构体系下,我们可以按照业务模块分层设计,单独部署,减轻了服务部署压力,也解耦了业务的耦合,避免了应用逐渐变成一个庞然怪物,从而可以轻松扩展,在某些服务出现故障时也不会影响其它服务的正常运行。总之,微服务在业务的高速发展中带给我们越来越多的优势,但是微服务并不是十全十美,因此不能盲目过度滥用,它有很多不足,而且会给系统带来一定的复杂度,其...转载 2019-10-12 15:15:13 · 132 阅读 · 0 评论 -
Hadoop伪分布式安装-Mac版
Hadoop伪分布式安装-Mac版环境配置brew安装 - 错误安装方式ssh登录本地配置修改格式化namenode启动namenode和datanode本地解压安装下载二进制文件解压省略配置环境变量省略修改配置格式化namenode省略启动namenode和datanode找出brew安装失败原因环境配置Mac版本 10.13.1hadoop版本 3.1.1brew安装 - 错误安装方...原创 2018-10-12 23:01:41 · 711 阅读 · 0 评论 -
redis集群负载均衡失效
集群配置公司内部使用cache-client (搜狐开源缓存 https://github.com/sohutv/cachecloud)一个取经团或者某个中心下使用一个appId(项目只需要配置appId,引入cache-client依赖即可使用缓存)原因分析拉取我们取经团下部分key分析,确认是否为这部分key导致(通过RDB文件备份起来;并以json格式解析存储) – 由于项目...原创 2019-09-02 10:21:11 · 642 阅读 · 0 评论 -
Docker搭建zookeeper + kafka集群(Mac)
软件下载docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafkazookeeper伪集群安装这里演示使用,只部署单节点。如需高可用,则最好部署多台zk节点默认容器内配置文件在/conf/zoo.cfg,数据和日志目录默认在/data 和 /datalog,需要的话可以将上述目录映射到宿主机的可靠文件目录下do...原创 2019-09-23 18:01:12 · 1205 阅读 · 0 评论 -
Storm入门之Storm示例及UI参数讲解
1、在IDEA本地运行Storm 程序需添加依赖,且scope选项必须为compile。如果scope选项不是compile,则会报以下的错:2、在集群模式下打jar包提交到Storm上运行程序,scope选项必须为provided。--------------------------------...转载 2019-09-23 18:07:12 · 296 阅读 · 0 评论