- 博客(278)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 学习笔记:微服务14 spring boot jdbc connect
这个虽然简单，也是必备，下个代码，做个记录，免得到处找 主要有两种方法，Mybatis和JdbcTemplate这里是简单直接的JdbcTemplate方法1. pom.xml 增加依赖 <dependency> <groupId>mysql</groupId> <artifactId&g...
2019-01-02 21:15:31
371
原创 学习笔记:微服务13 spring boot2.x oauth2-client
前面oauth2 server设置好了，登录oauth2 server正常，但另外建一个oauth2 client 总是不能登录认证，网上说是spring boot 2 中去除了@EnableOAuth2Sso注解，今天终于找到适合我的spring boot 2.11的oauth2 client,实现了客户端认证。1.新建spring start project 项目，我命名为microser...
2019-01-02 19:53:25
1827
1
原创 学习笔记:微服务12 spring cloud Feign(Rest请求)+ hystrix（熔断）
Feign在RestTemplate的基础上对其封装，由它来帮助我们定义和实现依赖服务接口的定义。Spring Cloud Feign 基于Netflix Feign 实现的，整合了Spring Cloud Ribbon 与 Spring Cloud Hystrix，并且实现了声明式的Web服务客户端定义方式。我的理解是Feign是一个接口，是发起rest请求的工具，它集成了ribbon负载均...
2019-01-02 12:51:01
366
原创 学习笔记:微服务11 spring cloud ribbon(负载均衡)+ hystrix（熔断）
为了提高服务稳定性和服务能力，相同的微服务可能会配置运行多个副本，这些微服务同时提供同等服务，这里要解决的是如何实现负载均衡，随机地访问其中某个微服务，再就是某个微服务宕机时，需要熔断，就是不再分配任务到这个服务器，但恢复服务后又给它分配任务，spring的方案是 ribbon(负载均衡)+ hystrix（熔断）配合使用。这里要测试这个功能，需要至少四台服务器，一个是eureka 注册中心，...
2019-01-01 23:27:51
1004
原创 学习笔记:微服务10 spring cloud config server配置中心
微服务集群应用服务众多，spring config server 可以把各微服务的配置文件集中起来管理一、spring config server搭建1.创建一个spring boot start 项目，我这命名为microservice-config-server-84012.pom.xml 加入 <dependency> ...
2019-01-01 19:17:20
271
原创 学习笔记:微服务-9 spring cloud oauth2 server配置
spring cloud 对外服务的统一认证，以及各微服务之间相互调用的身份认证，需要有个认证服务器，上两节学习了以cas中央认证服务器作认证，作为spring cloud全家桶，本身提供了oauth2的统一认证，能很好地集成在整个微服务集群中，这节就学习oauth2服务器的搭建1. 新建spring boot start project 我这设置项目名为：MicroserviceOauth2...
2018-12-31 20:57:46
776
原创 学习笔记:微服务-8 ngnix+zuul 实现高可用负载均衡
本次学习实现如下图的红框部分1.nginx 安装yum install nginx2. 配置nginxnano /etc/nginx/nginx.confupstream centos7.linbsoft.com { server centos7.linbsoft.com:8201 weight=1; server centos7.linb...
2018-12-31 00:06:11
2207
4
翻译 学习笔记:微服务-7 了解spring cloud架构
学了一周spring cloud 微服务了，开始考虑整个微服务群的架构，并看到一个有意思的名词，spring cloud 全家桶，呵呵上几个图和文章吧，刚学一周，能理解这些图的大概，并其中一个个去实践。参考：https://blog.csdn.net/wxb880114/article/details/79467779 SpringCloud分布式开发五大组件详解https://bl...
2018-12-27 22:08:50
347
原创 学习笔记:微服务-6.spring zuul + spring security + cas client 实现微服务sso登录
上节架构了spring zuul实现微服务的网页路由，因为zuul是微服务群的统一入口，非常适合在zuul服务上进行统一登录认证，本节实验结合spring zuul +spring security +Apereo cas实现微服务群的统一登录认证spring security是一个spring的权限认证系统，cas是单位中央认证系统，从中央认证系统认证后，获取一个中央认证系统的身份（本测试中...
2018-12-27 15:42:22
6447
7
原创 学习笔记:微服务-5.spring zuul
spring cloud zuul 是网页api网关，就是说微服务有很多的服务，每个服务都有个自己的网址，采用zuul就可以从一个zuul网址对外服务，会自动跳转到设置的对应微服务上上经典图片1. 新建一个spring boot 项目 命名为Eureda-client-zuul2.pom.xml<?xml version="1.0" encoding="UTF-8"?&...
2018-12-26 23:30:23
352
原创 学习笔记:微服务-4.spring boot 单点登录cas
spring boot 与单点登录CAS整合实现cas client1. pom.xml 加入依赖 <dependency> <groupId>net.unicon.cas</groupId> <artifactId>cas-client-autoconfig-support<...
2018-12-26 21:35:45
1369
原创 学习笔记:微服务-3.spring.cloud 加入spring.security（Greenwich.M3）
上节学习可以启动spring cloud Eureka注册中心服务，这节加上spring.security 的认证功能，加上后，登录Eureka 的网页需要输入账号密码，微服务客户端注册到中心也需要提供账号密码本节是把上上节学习的 spring boot 和上节学习的 spring cloud Eureka 结合起来，再加上认证功能一、 spring cloud Eureka server...
2018-12-26 16:08:58
472
原创 学习笔记:微服务-2.spring cloud Eureka server 注册中心搭建
学习spring cloud 首先搭个Eureka server 注册中心,接下来才能创建管理的微服务客户1.在eclipse-》新建-》其它-》spring boot project创建一个名为 Eureka-Server的maven项目2.修改 pom.xml<?xml version="1.0" encoding="UTF-8"?><project xm...
2018-12-25 16:30:37
283
原创 学习笔记:微服务-1.spring boot安装与hello world
数据越来越大，服务也越来越复杂，应用越来越彭大，为了提高应用服务的高稳定，高并发，高集群，高容错，低耦合，给出的新架构思维是把大的应用根据功能拆分成许多小的应用，分别开发，分别部署，通过各种大数据据集群的工具协同工作，就是分而自治，发展了一整套微服务的技术。spring是其中完整解决方案产品的提供者，spring cloud是微服务群的治理架构，spring boot是其中单个微服务的开发平台。...
2018-12-24 23:33:58
341
原创 学习笔记:从0开始学习大数据-36.docker部署zookeeper集群
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务,前面安装hbase时，hbase自带了一个zookeeper,现在通过docker在单机部署了hadoop集群，也可以测试一下独立zookeeper集群的安装部署了环境：宿主机centos7,docker容器 hadoop1,hadoop2,hadoop3,都安装了java,已构建了hadoop集群1.下载：http:...
2018-12-23 20:06:01
313
原创 学习笔记:从0开始学习大数据-35.docker部署hadoop集群
上节学习安装使用docker,并运行了ubuntu16.04的镜像，本节就在docker的ubuntu16.04镜像容器中创建hadoop三机集群。先启动一个ubuntu16.04的容器：1.修改容器中的下载源：nano sources.listdeb http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe ...
2018-12-22 23:24:20
473
原创 学习笔记:从0开始学习大数据-34.hadoop集群准备之docker安装
今天是冬至日，广州冷了几天，阴了几天后，又阳光灿烂，气温升到了25°，阳台外，依然绿树成荫，鸟雀声声，冬眠了几天的乌龟也从角落爬出来伸展四肢晒太阳，这应该是去爬山的好日子，而正在学大数据的我，深感路还漫长，继续爬大数据这座山吧！大数据何常不是一朵信息科学之花呢言归正传，今天要学习的是docker的安装使用。为什么学习大数据要学习docker呢，因为我在学校的电脑是32G内存的，开几个虚...
2018-12-22 11:56:33
298
原创 学习笔记:从0开始学习大数据-33.oozie安装部署及运行examples
Oozie是一个工作流引擎服务器，用于运行Hadoop Map/Reduce任务工作流（包括M/R、Pig、Hive、Sqoop等)工作流管理软件有Azkaban、Oozie、Cascading、Hamake等多种引擎可选。1.下载网站： http://oozie.apache.org下载版本是oozie4.3.1.tar.gz2.解压tar -zxvf oozie-4.3.1.t...
2018-12-20 12:53:43
356
1
原创 学习笔记:从0开始学习大数据-32. 错题本（一）
学习过程，会遇到并解决了大量的问题，时间久了，遇到同样问题为了不到处查找，做个笔记很有必要，以后每10个问题一篇日记记录这些解决方法。------------- 1-1 ------------------问题：pig运行mapreduce时不断提示 2018-12-17 21:34:52,737 [main] INFO org.apache.hadoop.ipc.Client - Re...
2018-12-17 22:13:32
599
1
原创 学习笔记:从0开始学习大数据-31. pig安装运行
继续扫盲，今天尝试pig的安装使用Apache Pig 是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用。使用pig，可以不用编写java程序，用几句简单的命令就处理复杂的java编程才能完成的MapReduce程序1.下载http://pig.ap...
2018-12-17 08:46:22
270
原创 学习笔记:从0开始学习大数据-30. solr通过java导入doc，pdf文档建立全文检索
1. eclipse 新建maven项目solr，pom.xml 加入依赖2 在项目下新建类updoctestpackage com.linbin.solr;import java.io.File;import java.io.IOException;import org.apache.solr.client.solrj.SolrClient;import org.apac...
2018-12-15 22:17:28
971
1
原创 学习笔记:从0开始学习大数据-29. solr增加ik中文分词器并导入doc，pdf文档全文检索
环境 centos7,solr7.5.01. 新建core从 solr-7.5.0/example/files/conf 作为配置文件模板，创建core，名为mycore2.下载分词器从https://search.maven.org/search?q=g:com.github.magese 下载 ik-analyzer-7.5.0.jar复制到 solr-7.5.0/...
2018-12-14 19:27:18
412
原创 学习笔记:从0开始学习大数据-28. solr存储数据在hdfs并从mysql导入数据
环境 centos7 hadoop2.6.0 solr-7.5.0一、创建hdfs为存储的core1.在hdfs创建索引数据目录[root@centos7 bin]# hadoop fs -mkdir /user/solr/[root@centos7 bin]# hadoop fs -chown linbin /user/solr2. 创建core目录mkdir solr-7...
2018-12-14 13:33:06
469
原创 学习笔记:从0开始学习大数据-27. solr安装使用
Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML,json或rest，http get请求，生成并返回索引，有灵活的请求参数设置，以及返回数据的条件，字段，分页等定制。1.下载wget http://archive.cloudera.com/cdh5/cdh/5/solr-4.10....
2018-12-13 11:01:05
273
原创 学习笔记:从0开始学习大数据-26. Hue安装
Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。1.下载https://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.16.1.tar.gz2.解压tar -zxvf hue-3.9.0-cdh5.16.1.tar.gz3.安装依赖 hue需要编译，是一个python的web服务...
2018-12-11 16:39:26
392
原创 学习笔记:从0开始学习大数据-25. impala 安装及使用
还需继续abc，这节学习安装使用impalaImpala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。下载安装网...
2018-12-10 10:13:48
366
原创 学习笔记:从0开始学习大数据-24. 学习小结，转段
经过半个多月的学习，把课本介绍的大数据工程师相关软件都涉猎了一遍，主要是下载安装配置，然后运行一个hello world！对大数据有了个初步认识，算是从门外跨进了门里，里面的风光，慢慢再领略。 为了加快进阶，下一步开始转段，从单个软件的学习向以项目引领，综合运用转化，找一些实用的项目，围绕项目需要的相关组件，边做边学，这是最快最实用的学习途径。 ...
2018-12-06 21:55:39
278
原创 学习笔记:从0开始学习大数据-23. R语言recharts，REMap案例
以下学习的三个例子均copy自网络，调试运行后的代码和运行结果复制如下，以备后用。一、地图块library(ggplot2)library(baidumap)library(ggmap)options(baidumap.key = 'XXX')q <- getBaiduMap('广州白云山', width=600, height=600, zoom=18, scale = 2...
2018-12-06 21:36:49
598
原创 学习笔记:从0开始学习大数据-22. R语言recharts等lib库的安装及使用
R语言环境安装好后，有各种各样的插件库拓展功能，这些库需要安装才能使用，安装好后，使用时还需引入。1. devtools是个常用的工具包，安装中还不太顺利，主要是镜像网站不可用或依赖的包未先安装，最后安装过程如下：安装 devtools#yum install openssl#yum install openssl-devel#yum install ncurses-libs yum...
2018-12-06 13:01:30
773
1
原创 学习笔记:从0开始学习大数据-21. R语言及Rstudio IDE的安装
大数据的可视化，把大数据的处理结果呈现出来，需要用到制图软件，R语言是优选。R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。R语言可以在Windows，linux平台安装，另外，可以搭配安装 Rstudio ,是操作R语言的IDE环境，有desktop版和server版，桌面版是桌面窗口程序，服务器版是...
2018-12-05 22:45:10
504
原创 学习笔记:从0开始学习大数据-20. 机器学习spark ml算法库应用练习
作为大数据初学者，机器学习算法的运用，只是hello world知道个123，以后项目需要再深入Mahout，spark MLlib,spark ML三个算法库，根据网上了解比较，采用spark ml算法库作为学习对象。本次学习只是调试能运行网上的例子代码案例网址：https://www.ibm.com/developerworks/cn/opensource/os-cn-spar...
2018-12-05 13:20:07
624
1
原创 学习笔记:从0开始学习大数据-19. storm开发及运行环境部署
一.eclipse strom开发环境1. eclipse waven开发环境支持storm java程序开发很简单，只要pom.xml 加入依赖即可<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId>...
2018-12-04 21:51:12
344
原创 学习笔记:从0开始学习大数据-18.kettle安装使用
Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，t...
2018-12-03 22:16:15
402
原创 学习笔记:从0开始学习大数据-17.Redis安装及使用
Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部 分场合可以对关系数据库起到很好的补充作用。1. 下载wget http://download.redis.io/releases/redis-5.0.2.tar.gz2.安装$ tar -zxvf redis-5.0.2.tar.gzyum...
2018-12-03 19:55:28
2931
3
原创 学习笔记:从0开始学习大数据-16. kafka安装及使用
kafka是消息处理服务的开源软件，高效高可用。可以作为大数据收集的工具或数据的管道。1. 下载 http://kafka.apache.org/downloads根据scala版本，我下载的是Scala 2.12 - kafka_2.12-2.1.0.tgz (asc, sha512)2.解压tar -zxvf kafka_2.12-2.1.0.tgz3.启动（1）启动自带的...
2018-12-02 22:51:41
886
原创 学习笔记:从0开始学习大数据-15. Flume安装及使用
上节测试了spark 编程，spark sql ，spark streaming 等都测试可用了，接下来是数据源的收集，Flume的安装使用，其实很简单，但作为完整，也写个记录笔记1.下载 wget http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.16.1.tar.gz2.解压tar -zxvf flume-ng...
2018-12-01 11:36:45
611
原创 学习笔记:从0开始学习大数据-14. java spark编程实践
上节搭建好了eclipse spark编程环境在测试运行scala 或java 编写spark程序 ，在eclipse平台都可以运行，但打包导出jar，提交 spark-submit运行，都不能执行，最后确定是版本问题，就是你在eclipse调试的spark版本需和spark-submit 提交spark的运行版本一致，还有就是scala版本一致，才能正常运行。以下是java spark程...
2018-11-29 15:35:01
511
2
原创 学习笔记:从0开始学习大数据-13. Eclipse+Scala+Maven Spark开发环境配置
上节配置好了spark运行环境，可以通过 spark-shell 在scala语言界面交互执行spark命令可以参照（ https://blog.csdn.net/u010285974/article/details/81840413 Spark-shell执行计算） 这篇文章操作练习接下来在eclipse ide环境开发spark程序，环境配置费了一翻周折，在此记录，备用我已安...
2018-11-28 21:23:59
289
原创 学习笔记:从0开始学习大数据-12. spark安装部署
为了教学方便，考虑ALL IN ONE，一台虚拟机构建整个实训环境，因此是伪分布式搭建spark 环境： hadoop2.6.0-cdh5.15.1 jdk1.8 centos7 64位1. 安装scala环境版本是scala-2.12.7，官网下载地址http://www.scala-lang.org/download/scala-2.12.7.tgz ta...
2018-11-27 23:51:30
268
1
原创 学习笔记:从0开始学习大数据-11. sqoop安装部署
环境：centos7 已安装java和hadoop1.下载wget http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.16.0.tar.gz2.解压 tar -zxvf sqoop2-1.99.5-cdh5.16.0.tar.gz3. 修改 /etc/profile增加环境变量export SQOOP_HOME=...
2018-11-26 11:07:58
226
1
ExtJs6 Desktop
2016-03-07
extjs4.2 desktop 拓展
2015-01-04
教学资源库管理平台V4.0
2013-12-10
extjs4.2 desktop
2013-08-13
LinBSoft教学资源库管理系统视窗界面
2013-01-08
LinBSoft教学资源库管理系统v2.0
2013-01-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人