大数据处理
贝壳里的沙
毕业于中国石油大学软件工程系,先后就职于北京方正集团、北京用友财务软件股份有限公司、广东安居宝数码科技股份有限公司、广东东道信息科技有限公司,拥有10年以上的开发管理经验,擅长安防相关的音视频编技术应用,在大数据分析处理等方面有丰富的经验和独到见解。
展开
-
38、springcloud虚拟机网卡导致docker集群通信问题
在项目实战部署过程中,发现docker服务跑起来后,会遇到如下两个问题:(1)docker集群中运行的每一个容器一般会有3个网段(10.0段、10.255段和172段),在服务部署后,我们希望服务选择的网卡(注册到注册中心的网卡)与docker之间所在的网卡一直,也就是服务选择的网卡使我们创建的跨主机的网卡,那么服务与服务之间通信就没有问题,否则注册到注册中心的网卡不是我们创建的集群...原创 2019-03-30 14:37:55 · 638 阅读 · 0 评论 -
1、hadoop安装(1.2版本)
HDFS架构:(1)HDFS的文件被分成块进行存储(2)HDFS块的默认大小为64M(3)块是文件存储处理的逻辑单元(4)NameNode是一个唯一的管理节点,存储元数据(数据存放到哪些节点上)(5)DataNode实际数据存储节点数据管理与容错(1)默认数据块都有3个副本(廉价机器),同一机架有一份,不同机架有一份(2)DataNode定期向NameNode...原创 2019-03-30 14:40:40 · 157 阅读 · 0 评论 -
2、Zookeeper集群配置
单机模式和分布式模式前提:安装好jdk并配置好环境变量安装: 从zookeeper官网下载对应的包 我这里选择的是zookeeper-3.4.6.tar.gz,可以使用浏览器下载(lrzsz工具上传)或linux的wget下载 进入到/opt目录,拷贝zookeeper-3.4.6.tar.gz到改目录,解压:tar -zxvfzookeeper-3.4.6...原创 2019-03-30 14:42:49 · 152 阅读 · 0 评论 -
3、Hadoop+HBase+Hive+Zookeeper版本兼容问题
hadoop稳定版本选择hadoop决定用比较稳定版本hadoop2.7.1hadoop2.7.1中与hbase1.2.x兼容。hbase1.x与hive2.x是兼容的,与hive1.x需要编译。因此这里决定hbase使用1.x,hive使用2.xhbase稳定版本选择hbase中目前版本有hbase0.98,1.1.4,1.2.1,这里面稳定版是h...原创 2019-03-30 14:46:50 · 4785 阅读 · 0 评论 -
4、Hadoop2.x+Hbase完全分布式安装
版本兼容问题:Hadoop完全分布式安装:此处配置两台机器:master : 192.168.0.104 机器名hadoop1slave1 : 192.168.0.105 机器名hadoop2slave2 : 192.168.0.106 机器名hadoop3zookeeper为hadoop1、hadoop2、had...原创 2019-03-30 14:53:05 · 497 阅读 · 0 评论 -
5、HBase原理
简述HBase的架构原理1. HBase的模块 Master HBase Master用于协调多个Region Server,侦测各个Region Server之间的状态,并平衡Region Server之间的负载。HBase Master还有一个职责就是负责分配Region给Region Server。HBase允许多个Master 节点共存,但是这需要Zookeep...原创 2019-03-30 14:53:50 · 216 阅读 · 0 评论 -
6、Java在Windows下使用Hbase操作Hadoop
(1)解决jar包依赖问题,可以使用两种方式1、直接创建maven工程,编写pom文件,添加依赖的jar包声明2、直接下载对应的hbase的linux压缩包,解压后拷贝文件夹lib下的所有jar包注意:在运行过程中会报错:java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing...原创 2019-03-30 14:55:16 · 379 阅读 · 0 评论 -
7、hadoop的MapReduce计算框架
说明1、MapReduce适合做离线计算框架2、Storm适合做流式计算框架,实时计算3、Spark内存计算框架,适合做快速获取计算结果1、基础知识核心理念是:移动计算而不移动数据移动计算:将你写好的程序分别拷贝一份到对应机器上,但是数据不移动;计算步骤:数据切片---->map task计算 -->shuffle --->re...原创 2019-03-30 14:58:53 · 561 阅读 · 0 评论 -
8、Eclipse安装Hadoop-Eclipse-Plugin插件
1、事先需要插件,因此需要下载插件hadoop-eclipse-plugin-2.6.0.jar2、 将hadoop-eclipse-plugin-2.6.0.jar放到eclipse解压文件夹的plugins文件夹下。plugin路径:plugins就在eclipse中3、重启eclipse,就能看到对应的Map/Reduce小象图标。如果没有,点击左侧的小框,在o...原创 2019-03-30 15:01:13 · 954 阅读 · 0 评论 -
9、MapReduce程序Java示例
Hadoop一般用于做数据分析以及数据挖掘,并不做类似sql的关系数据查询;MapReducer程序中程序员可以控制的部分:Mapper、Shuffle的partition,Combiner以及Reducer过程1、创建Eclipse的Hadoop程序新建程序,选择Java Project即可选择下一步,命名为MapReduce项目名,然后点击...原创 2019-03-30 15:05:55 · 2946 阅读 · 0 评论 -
mybatis单参数以及多参数集合查询
单参数情况:(1)arrayList<CarnumberAlarm> selectByDeviceIdAndTime(String[]ids);xml配置: <if test="ids != null and ids.length > 0" > deviceId in <foreach collection...原创 2018-10-31 16:13:21 · 3186 阅读 · 0 评论 -
27、oauth2四种授权模式认证流程
重点:授权服务器如果同时存在WebSecurityConfigurerAdapter和ResourceServer,那么如下授权模式部分是无法使用的,所以保留WebSecurityConfigurerAdapter假设具体参数如下:(1)请求地址为:http://localhost:7010/uaa/oauth/XX(2)数据库表oauth_client_details...原创 2018-10-25 16:22:14 · 37610 阅读 · 7 评论 -
9、springcloud zuul 路由配置规则
一、配置静态静态路由zuul: routes: #路由名称 routename1: #匹配路径 path: /pathname/** #注意这里url要http://开头 url: http://localhost:8080 ...原创 2018-08-12 00:53:09 · 1881 阅读 · 0 评论 -
关于librdkafka编译错误问题解决
在windows使用librdkafka的时候,遇到的问题较多,总结有如下问题:1、编译器问题,首先最新的librdkafka项目使用了C++11相关语法,所以如果要编译该项目,必须保证编译器兼容C++11语法,也就是编译器要vs2013以上,请摒弃vs2008,vs2010;2、部分librdkafka项目没有vs的解决方案solution,需要生成对应的解决方案,此时需要下载cmake原创 2017-08-07 18:10:03 · 7957 阅读 · 1 评论 -
Hadoop2.x完全分布式安装
前言关于hadoop的版本选择使得我纠结了半天,最终找到了出路(因为我不知道哪个版本才是稳定版本,看网络视频有1.2的2.6的,但是到官网看2.6.1的修改了n个bug,而且hadoop还有很多版本有hadoop原生版本,CHD版本,....):(1)进入hadoop官网http://hadoop.apache.org/, 然后选择左侧的下载链接Download Hadoop(2)在跳...原创 2018-06-20 18:30:52 · 832 阅读 · 0 评论 -
hbase的概述和hbase架构及基本组件
一、hbase的概述概述HBase是一个构建在HDFS上的分布式列存储系统; HBase是基于Google BigTable模型开发的,典型的key/value系统; HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储; 从逻辑上讲,HBase将数据按照表、行和列进行存储。 与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加...转载 2018-06-20 19:54:36 · 752 阅读 · 0 评论 -
CentOS7部署RabbitMQ集群环境-普通集群
如何在centos7下部署RabbitMQ集群环境?痛点:整了3天,重装3台系统5次,整个过程一次成功,这一次可能是关闭了防火墙,后续所有的都连接不上但能ping通,所以,同志们,注意了,防火防盗防火墙!必备工具安装:yum -y install vim wget ntp lrzsz一、准备3台机器,配置/etc/hosts内容都为如下192.168...原创 2018-07-27 11:08:57 · 3140 阅读 · 0 评论 -
CentOS7部署RabbitMQ集群环境-镜像集群
前言 《CentOS7部署RabbitMQ集群环境-普通集群》一文中说明了如何配置RabbitMQ的默认集群模式,但并不保证队列的高可用性,尽管交换机、绑定这些可以复制到集群里的任何一个节点,但是队列内容不会复制,虽然该模式解决一部分节点压力,但队列节点宕机直接导致该队列无法使用,只能等待重启,所以要想在队列节点宕机或故障也能正常使用,就要复制队列内容到集群里的每个节点,需要创建镜像队列...原创 2018-07-27 11:10:11 · 1213 阅读 · 0 评论 -
RabbitMQ C++客户端SimpleAmqpClient编译总结(32以及64位)
整个过程没有截图,使用为我的“印象笔记”不能传图,所以全是以文字形式描述,各位跟踪我的脚步,一般能走到末尾。遇到的问题:1、Cmake必须是2.8版本或以上2、boost编译方式必须是默认动态编译库,使用静态库编译会报错(最终我重新编译boost库使用完全且默认动态方式:b2 toolset=msvc-14.0 threading=multi );3、安装vs2015不完全,且编译...原创 2018-07-22 15:57:38 · 6847 阅读 · 5 评论 -
Rabbitmq-Windows下安装使用
安装部署1.当前环境以及参考资料出处 部署环境:windows server 2008 r2 enterprise 官方安装部署文档:http://www.rabbitmq.com/install-windows.html官方文档说明 2.安装Erlang 首先,下载并运行Erlang Windows二进制文件。安装成功后,在所有程序中应该可以找到Erlang程序。...原创 2018-07-22 16:06:29 · 158 阅读 · 0 评论 -
6、SpringBoot整合ribbon项目实战
一、客户端负载均衡 Spring Cloud Ribbon是基于HTTP和TCP的客户端负载均衡工具,它是基于Netflix Ribbon实现的。通过Spring Cloud的封装,可以轻松地将面向服务的REST模板请求,自动转换成客户端负载均衡服务调用。 客户端负载均衡示意图如下所示:二、Ribbon负载均衡实战 我将要建立一个组合实例spring-ribbon-eu...原创 2018-08-09 19:12:37 · 11336 阅读 · 3 评论 -
7、Spring Cloud Feign负载与容错
《SpringBoot整合ribbon项目实战》一文中介绍了spring cloud的负载均衡和容错的入门配置,在实际开发中微服务的负载均衡和容错基本同时出现而且是每个服务不可缺少的一部分。在使用ribbon时,通常会使用resttemplate实现对http请求的封装,形成了模板化的调用方法。spring cloud feign在此基础上做了进一步的封装,Feign是一种声明式、模板化的...原创 2018-08-09 21:14:28 · 1195 阅读 · 0 评论 -
8、spring cloud zuul - api网关
背景 服务注册发现巧秒的实现了各个微服务之间的松耦合调用,从而不考虑服务提供方实例节点的动态变化(增加或减少)。特别是配合配置中心、负载均衡、断路器等功能,完美的实现了微服务架构。所有这些微服务都是在一个安全的局域网内裸奔,不过也并无大碍,但是整个服务体系最终会面向客户,不可能完全闭关锁国自己嗨,一旦提供的服务需要暴露给外部使用就会带来一连串的问题:如:安全、路由、使用的复杂度、性能、新...原创 2018-08-12 00:49:06 · 293 阅读 · 0 评论 -
10、Hadoop 2.0产生背景
产生背景Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题--HDFS存在的问题(1)NameNode单点故障,难以应用于在线场景(2)NameNode压力过大,且内存受限(元数据全部存在内容中),影响系统扩展性。--MapReduce存在的问题(1)JobTracker访问压力过大,单点故障,影响系统扩展性(2)难以支持除MapRed...原创 2019-04-11 09:47:06 · 222 阅读 · 0 评论