大数据
关注
分享
扫一扫
贝壳里的沙
毕业于中国石油大学软件工程系，先后就职于北京方正集团、北京用友财务软件股份有限公司、广东安居宝数码科技股份有限公司、广东东道信息科技有限公司，拥有10年以上的开发管理经验，擅长安防相关的音视频编技术应用，在大数据分析处理等方面有丰富的经验和独到见解。
展开
-
11、HDFS编程案例
一、Windows环境配置1、准备好hadoop的完全分布式按照，具体按照步骤这里不再赘述此处我的版本为hadoop2.7.6版本，环境配置为Hadoop的完全分布式按照，各个节点具体安排如下1）机器地址映射关系192.168.8.240 hadoop01192.168.8.241 hadoop02192.168.8.242 hadoop032）机器节点安排...原创 2019-12-21 21:13:33 · 1080 阅读 · 0 评论 -
42、nacos三部曲-系统配置
acos三部曲-系统配置创建一个springboot项目详细配置说明创建一个springboot项目（1）pom引用 <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-...原创 2019-09-07 20:32:46 · 705 阅读 · 0 评论 -
43、nacos三部曲-服务注册与发现
nacos三部曲-服务注册与发现一、前言二、服务注册（服务端）三、服务发现（客户端）一、前言nacos不仅仅提供了配置中心的功能–同springcloud的ConfigServer（包括消息总线实时刷新通知SpringCloud Bus），而且集成了服务的注册与发现功能。一下我们具体讲解在springboot项目中如何使用服务的注册和发现。二、服务注册（服务端）1、创建一个springbo...原创 2019-09-07 20:36:18 · 755 阅读 · 0 评论 -
44、nacos服务注册以及发现示例
44、nacos服务注册以及发现示例一、创建服务提供者项目-nacos-producer二、添加服务消费者项目-nacos-consumer注意，我在测试过程中发现问题（1）如果使用SpringCloud2.0.4.RELEASE版本无法使用nacos（2）如果使用open-feign的2.1.0版本远程过程调用失败，如果使用2.0.0版本发现可以远程调用，但是nacos注册失效（也就是本...原创 2019-09-07 20:40:10 · 3655 阅读 · 0 评论 -
45、nacos集成openfeign
nacos集成openfeign一、创建服务提供者项目-nacos-producer二、添加服务消费者项目-nacos-openfeignSpringCloud中使用feign（底层使用Ribbon）实现调用远程方法像调用本地方法一样去使用，如果使用nacos，那么对应就是使用openfeign即可实现。具体实现过程如下，仅供参考！一、创建服务提供者项目-nacos-producer1、修改...原创 2019-09-07 20:45:08 · 3188 阅读 · 2 评论 -
46、shiro认证和权限管理介绍
shiro认证和权限管理介绍前言1、用户名密码身份认证流程2、授权3、权限模型4、权限分配5、权限控制6、权限管理解决方案7、shiro介绍8、shiro使用9、 散列算法10、授权方式11、Shiro总结前言Apache Shiro是一个功能强大、灵活的，开源的安全框架。它可以干净利落地处理身份验证、授权、企业会话管理和加密。Apache Shiro的首要目标是易于使用和理解。安全通常很复杂...原创 2019-09-07 21:07:01 · 589 阅读 · 0 评论 -
49、实现shiro无状态访问（自定义token）
前言http协议是无状态协议。浏览器访问服务器时，要让服务器知道你是谁，只有两种方式：方式一：把“你是谁”写入cookie。它会随每次HTTP请求带到服务端；方式二：在URL、表单数据中带上你的用户信息（也可能在HTTP头部）。这种方式依赖于从特定的网页入口进入，因为只有走特定的入口，才有机会拼装出相应的信息，提交到服务端。大部分SSO需求都希望不依赖特定的网页入口（集成门户除外），所...原创 2019-09-07 21:10:14 · 1362 阅读 · 0 评论 -
50、自定义token兼容手机、邮箱等多身份信息登录
自定义token兼容手机、邮箱等多身份信息登录一、前言二、实现一、前言在登录认证中，用户名密码登录到系统是必然的模式，但是很多系统或日常中，可以有很多其他身份登陆到对应系统中，比如手机号码、邮箱、微信等，在oauth2中要实现对应登录方式，必须要实现对应的Filter、Provider、对应token以及UserDetailService接口，使得不同的方式创建不同的token，然后由与之对应...原创 2019-09-07 21:15:56 · 1003 阅读 · 0 评论 -
52、自定义的springboot-starter项目
一、前言 我们一般在开发基于SpringBoot架构项目时候，只需要将依赖的jar包在maven（或SBT）中引入即可，然后使用指令（如clean package install deploy -U，如果没有私仓，可以不用deploy -U），打包安装发布即可，打包后的jar包我们可以直接运行。这是为什么？因为由于围绕SpringBoot存在很多开箱即用的Starter依赖，使得我们在开...原创 2019-09-07 21:24:43 · 450 阅读 · 0 评论 -
1、ElasticSearch实战配置
index定义字段的分析类型以及检索方式，控制字段值是否被索引.他可以设置成 true 或者 false。没有被索引的字段将无法搜索原创 2019-09-18 15:39:05 · 817 阅读 · 0 评论 -
2、ElasticSearch（ik）中文分析器
Elasticsearch 中文搜索时遇到几个问题:当搜索关键词如：“人民币”时，如果分词将“人民币”分成“人”，“民”，“币”三个单字，那么搜索该关键词会匹配到很多包含该单字的无关内容,但是如果将该词分词成一个整词“人民币”，搜索单字如“人”字又不会匹配到包含“人民币”关键词的内容,怎么解决这个问题,既保证覆盖度又保证准确度? 搜索“RMB”时只会匹配到包含“RMB”关键词的内容，实际上，...翻译 2019-09-18 15:46:35 · 847 阅读 · 0 评论 -
3、安装中文分词器
一、前言 为什么要在elasticsearch中要使用ik这样的中文分词呢，那是因为es提供的分词是英文分词，对于中文的分词就做的非常不好了，因此我们需要一个中文分词器来用于搜索和使用。二、IK分词器的安装和使用 我们可以从官方github上下载该插件，我们下载对应于我们使用的es的版本的ik，注意选择与你安装的ElasticSearch版本对应的分词器。否则可能导致无法使...原创 2019-09-18 15:51:09 · 239 阅读 · 0 评论 -
41、nacos单机以及集群配置
nacos单机以及集群配置安装准备一、前言二、单机模式（standalone）三、集群搭建（cluster）四、添加配置文件五、添加配置文件安装准备1、下载库从Github 上拉取Nacos Github最新版（地址：https://github.com/alibaba/nacos）。2、本地解压tar -zxvf nacos-server-1.1.3.tar.gz解压后目录说明如下...原创 2019-09-07 20:18:50 · 7008 阅读 · 4 评论 -
27、离线环境如何隔离互联网跑docker
离线环境如何隔离互联网跑docker一、提出问题二、解决方案三、解决步骤一、提出问题大多数据的生产项目都是可以与互联网互通的，但是也存在很多情况我们无法与互联网进行通信，所以在这种情况下我们有可能无法使用docker，原因如下：（1）在生成自己的docker镜像过程中，我们需要下载基础镜像（2）在生成自己的docker镜像过程中，我们需要更新系统（3）在生成自己的docker镜像过程中，...原创 2019-09-03 11:50:03 · 429 阅读 · 0 评论 -
Hadoop2.x完全分布式安装
前言关于hadoop的版本选择使得我纠结了半天，最终找到了出路（因为我不知道哪个版本才是稳定版本，看网络视频有1.2的2.6的，但是到官网看2.6.1的修改了n个bug，而且hadoop还有很多版本有hadoop原生版本，CHD版本,....）：（1）进入hadoop官网http://hadoop.apache.org/， 然后选择左侧的下载链接Download Hadoop（2）在跳...原创 2018-06-20 18:30:52 · 853 阅读 · 0 评论 -
mysql和hbase应用场景对比
当我们对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用使用什么数据库？答案是什么，如果我们使用的传统数据库，肯定留有多余的字段，10个不行，20个，但是这个严重影响了质量。并且如果面对大数据库，pt级别的数据，这种浪费更是严重的，那么我们该使用是什么数据库？hbase数个不错的选择，那么我们对于hbase还存在下列问题：1.Column Family代表什么？2.HB...转载 2018-06-20 18:48:56 · 535 阅读 · 0 评论 -
Hadoop和HBase以及JDK支持版本关系
Hbase是建立Hadoop基础上的数据库文件，因此Hbase是分布式的数据库。Hbase也提供了单机版的安装。Hadoop和Hbase版本关系表：版本HBase-0.94.xHBase-0.98.xHBase-1.0.xHBase-1.1.xHBase-1.2.xHadoop-1.0.xXXXXXHadoop-1.1.xSNTXXXHadoop-0.23.xSXXXXHadoop-2.0.x-a...转载 2018-06-20 20:09:07 · 4921 阅读 · 0 评论 -
Java在Windows下使用Hbase操作Hadoop示例
（1）解决jar包依赖问题，可以使用两种方式1、直接创建maven工程，编写pom文件，添加依赖的jar包声明2、直接下载对应的hbase的linux压缩包，解压后拷贝文件夹lib下的所有jar包注意：在运行过程中会报错：java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing，因为缺少了hadoop的jar包），可以从解压ha...原创 2018-06-21 11:04:23 · 2188 阅读 · 1 评论 -
36、关于资源服务鉴权流程
使用springcloud框架时，最常用的鉴权流程框架是spring Security和OAuth2，OAuth2是SpringSecurity的扩展版；OAuth2.0有两种方式：1、授权服务与资源服务属于同一进程（同一服务）2、资源服务与授权服务分离（不属于同一进程） 对于第一种情况，我们很好区分，访问对应资源和授权数据同一进程，无需在配置文件中进行任何配置，但对于第二...原创 2019-03-15 17:10:52 · 1537 阅读 · 0 评论 -
1、kafka简介
参考文档：http://kafka.apache.org/documentation/#introductionhttp://kafka.apachecn.org/documentation.htmlhttps://www.jianshu.com/p/d3e963ff8b701、JMS是什么（1）JMS的基础JMS是什么JMS是Java提供的一套技术规...原创 2019-08-13 13:19:28 · 353 阅读 · 0 评论 -
15、kafka集群维护
kafka集群维护1、集群信息实时查看工具（topic工具）2、kafka集群leader平衡机制3、集群分区日志迁移1、集群信息实时查看工具（topic工具）（1）列出集群当前所有可用的topickafka-topics.sh --list --zookeeper kafka1:2181（2）查看集群特定的topic信息/bin/kafka-topics.sh --describe ...原创 2019-08-16 11:02:00 · 355 阅读 · 0 评论 -
16、kafka集群监控
kafka集群监控一、Kafka Offset Monitor介绍安装部署Kafka Offset Monitor安装部署kafka-mamager工具Kafka集群监控工具有很多，这里我们只介绍针对Kafka的监控。一、Kafka Offset Monitor介绍在生产环境中需要集群高可用，所以需要对kafka集群进行监控。Kafka Offset Monitor可以监控Kafka集群以下...原创 2019-08-16 11:16:25 · 884 阅读 · 0 评论 -
17、kafka分区选主机制
kafka分区选主机制1、大数据常用的选主机制2、常用选主机制的缺点3、kafka分区的选主机制1、大数据常用的选主机制leader的选择方法非常多，大数据领域常用的的选举方法有如下集中（1）Zab（zookeeper使用）a、快速leader选举（leader election）b、发现或者版本建立（epoch establish）c、同步（follower从leader同步数据和状...原创 2019-08-16 11:24:57 · 4246 阅读 · 0 评论 -
18、kafka的Reactor设计模型
kafka的Reactor设计模型（2）认识Linux的epoll模型（3）kafka Server Reactor模型kafka作为一种高性能、高并发的消息中间件，必须要求大量的客户端连接、必须做到高并发，kafka使用了久经检验的Reactor模型。在了解之前，首先了解一下如下几个概念（Reactor模型是基于Java NIO的，是linux的epoll模型的改造）：#（1）认识Java ...原创 2019-08-16 11:29:19 · 1121 阅读 · 0 评论 -
Zookeeper集群配置
单机模式和分布式模式前提：安装好jdk并配置好环境变量安装： 从zookeeper官网下载对应的包 我这里选择的是zookeeper-3.4.6.tar.gz，可以使用浏览器下载(lrzsz工具上传)或linux的wget下载 进入到/opt目录，拷贝zookeeper-3.4.6.tar.gz到改目录，解压：tar -zxvf zookeeper-3.4.6.tar.gz环境变...原创 2018-06-20 18:22:35 · 225 阅读 · 0 评论