大数据
心诚则灵--艾
哇咔咔
展开
-
在Windows端安装kafka 提示错误: 找不到或无法加载主类 的解决方案
在配置好kafka的server.properties文件后,cmd进入命令窗口输入命令:.\bin\windows\kafka-server-start.bat config\server.properties提示错误:错误: 找不到或无法加载主类 Files\Java\jdk1.7.0_80\lib;C:\Program 解决方式如下:在kafka安装目录中找到bin\windows目录中的k转载 2018-01-30 17:01:39 · 1411 阅读 · 0 评论 -
zookeeper学习(六)ZooKeeper实现软负载均衡
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,提供的功能包括配置维护、名字服务、分布式同步、组服务等。ZooKeeper会维护一个树形的数据结构,类似于Windows资源管理器目录,其中EPHEMERAL类型的节点会随着创建它的客户端断开而被删除,利用这个特性很容易实现软负载均衡。一、获取服务器列表,通过随机数,客户端随机获取一台服务器进行访问基本原理是,每个应用的Serve...原创 2018-03-09 15:15:43 · 2560 阅读 · 1 评论 -
redis学习(三)Redis和Memcached的区别
说到redis就会联想到memcached,反之亦然。了解过两者的同学有那么个大致的印象:redis与memcached相比,比仅支持简单的key-value数据类型,同时还提供list,set,zset,hash等数据结构的存储;redis支持数据的备份,即master-slave模式的数据备份;redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用等等,这...原创 2018-02-28 15:12:44 · 212 阅读 · 1 评论 -
redis学习(二)Jedis对redis的操作详解
通过前一篇《redis的简单使用》的简单介绍,本篇主要阐述Jedis对redis的五大类型的操作:字符串、列表、散列、集合、有序集合。JedisUtil这里的测试用例采用junit4进行运行,准备代码如下: private static final String ipAddr = "10.10.195.112"; private static final int port = 637...原创 2018-02-28 15:06:02 · 215 阅读 · 0 评论 -
redis学习(一)Redis入门简介
Redis 简介Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点:Redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。Redis支持数...原创 2018-02-28 14:50:21 · 309 阅读 · 1 评论 -
zookeeper学习(五)ZooKeeper和Nginx 负载均衡的差异
Nginx是著名的反向代理服务器,也被广泛的作为负载均衡服务器ZooKeeper是分布式协调服务框架,有时也被用来做负载均衡那么他们的区别是什么?如何选择呢?下面从实际场景看下他们的关系Nginx的负载均衡配置非常简单,把多个web server配置到nginx中,用户访问Nginx时,就会自动被分配到某个web serverupstream backend { server 192.168.1...转载 2018-02-08 11:52:05 · 1206 阅读 · 1 评论 -
Mongdb学习(五)MongoDB支持(MongoDB支持)(从MongoDB官网谷歌译文)
4. MongoDB支持MongoDB支持包含以下总结的各种功能。Spring配置支持使用基于Java的@Configuration类或Mongo驱动程序实例和副本集的XML名称空间MongoTemplate帮助类,提高生产力执行常见的Mongo操作。包括文档和POJO之间的集成对象映射。异常转换成Spring的可移植数据访问异常层次结构翻译 2018-02-06 16:24:41 · 1580 阅读 · 1 评论 -
zookeeper学习(四)Zookeeper工作原理(详细)
转自:点击打开链接1、Zookeeper的角色 » 领导者(leader),负责进行投票的发起和决议,更新系统状态 » 学习者(learner),包括跟随者(follower)和观察者(observer),follower用于接受客户端请求并想客户端返回结果,在选主过程中参与投票 » Observer可以接受客户端连接,将写请求转发给leader,但observer不参加投票过程,只同步le...转载 2018-01-30 15:44:59 · 9959 阅读 · 1 评论 -
ZooKeeper学习(三)ZooKeeper命令简介
转自:http://blog.csdn.net/lihao21ZooKeeper的客户端包括Java版本和C语言版本。使用Java版本连接zk的命令以下:bin/zkCli.sh -server ip:port1执行此命令,客户端成功连接上zk,会有类似以下的输出,其中,包括“Welcome to ZooKeeper!”的欢迎语,以及其他一些连接的信息等。lihaodeMacBook-Pro:bi...转载 2018-01-30 15:13:42 · 586 阅读 · 0 评论 -
zookeeper学习(七)基于zookeeper实现分布式锁
一、分布式锁介绍 分布式锁主要用于在分布式环境中保护跨进程、跨主机、跨网络的共享资源实现互斥访问,以达到保证数据的一致性。二、架构介绍 在介绍使用Zookeeper实现分布式锁之前,首先看当前的系统架构图 解释: 左边的整个区域表示一个Zookeeper集群,locker是Zookeeper的一个持久节点,node_1、no...原创 2018-03-09 16:28:29 · 361 阅读 · 0 评论 -
分布式锁原理及实现方式
本文转自:http://www.hollischuang.com/archives/1716 目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition toler...转载 2018-03-12 10:13:17 · 275 阅读 · 0 评论 -
hadoop学习(四)--- Hbase与传统数据库的区别
在说HBase之前,我想再唠叨几句。做互联网应用的哥们儿应该都清楚,互联网应用这东西,你没办法预测你的系统什么时候会被多少人访问,你面临的用户到底有多少,说不定今天你的用户还少,明天系统用户就变多了,结果您的系统应付不过来了了,不干了,这岂不是咱哥几个的悲哀,说时髦点就叫“杯具啊”。其实说白了,这些就是事先没有认清楚互联网应用什么才是最重要的。从系统架构的角度来说,互联网应用更加看重系统性能以及伸...转载 2018-04-24 17:43:20 · 5310 阅读 · 0 评论 -
Git常用命令汇总
Git常用命令汇总1.系统操作1.克隆命令git clone 'http://192.168.4.254/dev/tj-tjk.git';2.初始化git init;3.配置git config --global user.name "名字";git config --global user.email "邮箱";4.push到远程仓库git push -u origin origin/201...原创 2018-04-17 17:50:01 · 210 阅读 · 0 评论 -
hadoop学习(一)---Hbase入门
HBase的发展史2006年底由PowerSet 的Chad Walters和Jim Kellerman 发起,2008年成为Apache Hadoop的一个子项目。现已作为产品在多家企业被使用,如: WorldLingo Streamy.com OpenPlaces Yahoo! Adobe 淘宝 ...转载 2018-04-04 13:52:02 · 1448 阅读 · 0 评论 -
springCloud学习(二)服务的注册与发现(Eureka)
一、spring cloud简介spring cloud 为开发人员提供了快速构建分布式系统的一些工具,包括配置管理、服务发现、断路器、路由、微代理、事件总线、全局锁、决策竞选、分布式会话等等。它运行环境简单,可以在开发人员的电脑上跑。另外说明spring cloud是基于springboot的,所以需要开发中对springboot有一定的了解,如果不了解的话可以看这篇文章:2小时学会spring...原创 2018-03-30 20:17:54 · 249 阅读 · 0 评论 -
springCloud学习(一)springCloud生态圈简介
一、简介Spring Cloud 为开发者提供了在分布式系统(配置管理,服务发现,熔断,路由,微代理,控制总线,一次性token,全居琐,leader选举,分布式session,集群状态)中快速构建的工具,使用Spring Cloud的开发者可以快速的启动服务或构建应用、同时能够快速和云平台资源进行对接。Spring Cloud Config配置中心Spring Cloud Config就是我们通...转载 2018-03-05 18:31:21 · 5401 阅读 · 1 评论 -
java基础---Java锁的种类以及辨析(四):可重入锁
四、可重入锁:本文里面讲的是广义上的可重入锁,而不是单指JAVA下的ReentrantLock。可重入锁,也叫做递归锁,指的是同一线程 外层函数获得锁之后 ,内层递归函数仍然有获取该锁的代码,但不受影响。在JAVA环境下 ReentrantLock 和synchronized 都是 可重入锁下面是使用实例view sourceprint?01public class Test implements...转载 2018-03-12 10:41:35 · 180 阅读 · 0 评论 -
Mongodb学习(四)Mongodb与spring集成 MongoRepository
与HibernateRepository类似,通过继承MongoRepository接口,我们可以非常方便地实现对一个对象的增删改查,要使用Repository的功能,先继承MongoRepository接口,其中T为仓库保存的bean类,TD为该bean的唯一标识的类型,一般为ObjectId。之后在service中注入该接口就可以使用,无需实现里面的方法,spring会根据定义的规则自动生成。转载 2018-02-06 11:44:12 · 601 阅读 · 0 评论 -
Mongdb学习(三)MongoDB常用操作命令大全
如果你想创建一个“myTest”的数据库,先运行use myTest命令,之后就做一些操作(如:db.createCollection('user')),这样就可以创建一个名叫“myTest”的数据库。一、数据库常用命令1、Help查看命令提示[sql] view plain copyhelp db.help();转载 2018-02-06 11:34:54 · 478 阅读 · 0 评论 -
Apollo学习(一)Apollo初学入门
前言最近公司项目开始用微服务相关的技术设计apollo,自己也是初学者就边学边总结,部分内容来自官网,大牛请便。1.1 背景随着程序功能的日益复杂,程序的配置日益增多:各种功能的开关、参数的配置、服务器的地址……对程序配置的期望值也越来越高:配置修改后实时生效,灰度发布,分环境、分集群管理配置,完善的权限、审核机制……在这样的大环境下,传统的通过配置文件转载 2018-02-04 11:05:30 · 45010 阅读 · 4 评论 -
基于maven使用IDEA创建多模块项目
转自博客点击打开链接一 项目工程目录二 创建父工程三 创建公共工具类三 创建开发项目四 创建开发项目子模块五 运行项目鉴于最近学习一个分布式项目的开发,讲一下关于使用IntelliJ IDEA基于Maven创建多模块项目的实际开发,可能有不合适的地方,但是项目是可以跑通的,也请有不足之处,都提出来,一起讨论下。一. 项目工程目录首先展示一下,最终整个项目的工程目录:简单介绍一下目录结构: comm...转载 2018-02-02 16:13:12 · 265 阅读 · 0 评论 -
docker学习(二)docker入门
什么是docker?简介:Docker是一个开源的引擎,可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。开发者在笔记 本上编译测试通过的容器可以批量地在生产环境中部署,包括VMs(虚拟机)、bare metal、OpenStack 集群和其他 的基 础应用平台。 Docker是一个开源的引擎,可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。开发者在笔转载 2018-02-02 14:41:22 · 227 阅读 · 0 评论 -
springboot学习(一)IDEA创建springboot项目并部署到华为云中
一、点击File–new – project –Spring Initializr二、完成之后点击next,这个可能需要点时间,完成之后会出现如下的界面,其中有项目名称,项目的类型等等设置,根据需求修改Group和Artifact其他保持原样三、完成点击next,出现如下界面,选择你所需要的jar包依赖,IDEA会自动下载相对应的jar包,此处我随便选了几个原创 2018-01-26 17:24:26 · 5976 阅读 · 4 评论 -
整合(一)dubbo+zookeeper+springboot整合
一、启动zookeeper,这里使用zookeeper单机模式,不用zookeeper集群1、 解压修改zookeeper/conf里面的配置文件zoo_sample.cfg为zoo.cfg2、windows环境下启动zookeeper服务端,运行zkServer.cmd3、启动zookeeper客户端,运行zkCli.cmd,可以用 “ls /”命令查看哪些服务被注册到了zook原创 2018-02-01 11:47:02 · 9949 阅读 · 1 评论 -
dubbo学习(一)dubbo简介与原理
一、Dubbo背景和简介单一应用框架(ORM) 当网站流量很小时,只需一个应用,将所有功能如下单支付等都部署在一起,以减少部署节点和成本。 缺点:单一的系统架构,使得在开发过程中,占用的资源越来越多,而且随着流量的增加越来越难以维护 垂直应用框架(MVC) 垂直应用架构解决了单一应用架构所面临的扩容问题,流量能够分散到各个子系统当中,且系统的体积转载 2018-01-31 17:51:28 · 23254 阅读 · 1 评论 -
用idea如何把一个写好的项目传到GitHub上
一、登录到自己的GitHub上,创建一个新的仓库如下图springboot2.(申请用户创建仓库过程略)二、打开idea,先个体idea配置git.exe的路径(很简单略),如图所示,点击Create Git Repository...弹出对话框,选择项目路径后,就会给该项目添加上Git相关的组件添加后如图所示:三、如图所示选择Remotes,出原创 2018-01-31 17:21:18 · 9210 阅读 · 3 评论 -
Apollo学习(二)appollo安装与部署
一、下载 链接:http://activemq.apache.org/apollo/download.html 下载windows版本: 二、解压配置环境变量 三、创建代理进入bin目录执行命令:apollo create E:\EVN\apollo\myapollo如图所示生成一个代理示例的文件夹四、运行apollo代理原创 2018-02-04 11:44:39 · 10997 阅读 · 1 评论 -
mongdb学习(一)linux环境安装
Linux平台安装MongoDBMongoDB 提供了 linux 各发行版本 64 位的安装包,你可以在官网下载安装包。下载地址:https://www.mongodb.com/download-center#community下载完安装包,并解压 tgz(以下演示的是 64 位 Linux上的安装) 。curl -O https://fastdl.mongodb转载 2018-02-05 15:06:03 · 239 阅读 · 0 评论 -
docker学习(四)docker中部署javaweb应用两种方法
方法一:将war包拷贝到docker容器中的tomcat中 1、拉去镜像文件 docker pull tomcat :如果后面没有加上版本号,默认下载最新的tomcat 2、启动容器 (最好添加上端口映射,不然无法访问容器里面的服务我这里将容器的8080端口映射成8081) docker run-p 8081:8080 [IMAGE ID] docker run -原创 2018-02-02 14:32:32 · 596 阅读 · 0 评论 -
mongdb学习(二)spring-boot集成MongoDB
一、配置pom.xml org.springframework.boot spring-boot-starter-data-mongodb 二、修改application.properties配置文件 两种连接mondb的方式:spring.data.mongodb.uri=mongodb://root:123456@10.2.15.60:27017/admin原创 2018-02-06 11:03:18 · 476 阅读 · 0 评论 -
ZooKeeper学习(二)ZooKeeper的安装与部署
本文讲述如何安装和部署ZooKeeper。转自点击打开链接一、系统要求ZooKeeper可以运行在多种系统平台上面,表1展示了zk支持的系统平台,以及在该平台上是否支持开发环境或者生产环境。表1:ZooKeeper支持的运行平台系统开发环境生产环境Linux支持支持Solaris支持支持FreeBSD支持支持Windows支持不支持MacOS支持不支持ZooKeeper是用Java编写的,运行在J...转载 2018-01-30 14:44:33 · 605 阅读 · 0 评论 -
ZooKeeper学习(一)ZooKeeper概览
一、简介该文转自:http://blog.csdn.net/lihao21/article/details/51759922ZooKeeper是一个高性能,分布式的,开源分布式应用协调服务。它提供了简单原始的功能,分布式应用可以基于它实现更高级的服务,比如同步,集群管理,命名空间,配置维护等。ZooKeeper使用了我们熟悉的文件树状结构作为自己的数据模型,因此是易于使用的。我们知道,由于资源竞争...转载 2018-01-30 14:52:18 · 745 阅读 · 0 评论 -
docker学习(三)docker命令大全,归纳总结
容器生命周期管理service docker startrun docker run :创建一个新的容器并运行一个命令start/stop/restart docker start :启动一个或多少已经被停止的容器 docker stop :停止一个运行中的容器 docker restart :重启容器kill docker kill :杀掉一个运行中的...原创 2018-02-02 15:11:42 · 485 阅读 · 0 评论 -
dubbo学习(二)Dubbo负载均衡策略
本文参考: 龙果学院:http://www.roncoo.com/details?cid=85d6008fe77c4199b0cdd2885eaeee53在集群负载均衡时,Dubbo提供了多种均衡策略,缺省为random随机调用。可以自行扩展负载均衡策略,参见:负载均衡扩展Random LoadBalance随机,按权重设置随机概率。在一个截面上碰撞的概率高,但调用量越大分布越均匀,而且按概率使用...转载 2018-02-26 10:14:56 · 598 阅读 · 0 评论 -
springboot学习(三)springboot注解大全
[springBoot系列]--springBoot注解大全一、注解(annotations)列表 @SpringBootApplication:包含了@ComponentScan、@Configuration和@EnableAutoConfiguration注解。其中@ComponentScan让spring Boot扫描到Configuration类并把它加入到程序上下文。@C转载 2018-02-05 16:42:39 · 303 阅读 · 0 评论 -
中间件对比----Kafka、ActiveMQ、RabbitMQ及RocketMQ性能对比
特性 ActiveMQ RabbitMQ RocketMQ Kafka 单机吞吐量 万级,比 RocketMQ、Kafka 低一个数量级 同 ActiveMQ 10 万级,支撑高吞吐 10 万级,高吞吐,一般配合大数据类的系统来进行实时数据计算、日志采集等场景 topic 数量对吞吐量的影响 ...原创 2019-01-09 10:17:29 · 2775 阅读 · 0 评论