乘风御浪云帆之上-CSDN博客

原创 SpringBoot中Filter的使用之跨系统调用

SpringBoot中Filter的使用之跨系统调用目的有两个系统，分别是系统A和系统B；现在有这么个需求，就是在A系统中用到B系统的数据。解决方案这时候你可能想到直接调用B系统的接口来获取数据但是你想过没有，如果在A系统中调用B系统的东西，将会发生跨域问题明确跨域问题是发生在浏览器中的，解决方案可以在A系统中加入对B系统的URL的过滤，具体设计如下图具体的代码...

2018-09-12 13:56:58 797

原创下载微信服务器上的图片到自己的服务器

下载微信服务器上的图片到自己的服务器微信上传图片后单张图片将返回serverId 多张图片将返回serverId数组，后续只需遍历下载即可下载微信服务器上的图片工具类。。。import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.i...

2018-08-31 11:01:33 5968 2

原创编译spark2.1.0

编译spark2.1.0目标得到spark-2.1.0-bin-2.6.0-cdh5.7.0环境jdk 1.8.0_65【1.7+】 maven Apache Maven 3.3.9【3.3.9版】 spark 2.1.0 下载地址【http://spark.apache.org/downloads.html】选项选择 settings.x...

2018-08-29 21:53:58 586

原创 Spring Boot 配置Hadoop

Spring Boot 配置Hadoop核心FsShell自动注入项目工程Maven工程Maven的setting.xml文件配置。。。<mirror> <id>nexus</id> <mirrorOf>*,!cloudera</mirrorOf> <url>http://...

2018-08-27 17:38:47 9424 2

原创 Spring配置Hadoop

Spring配置Hadoop核心将Hadoop中的FileSystem的创建通过Spring的依赖注入的方式进行创建其他的操作与Java操作Hadoop的API方式是一致的项目工程Maven工程Maven的setting.xml文件配置。。。<mirror> <id>nexus</id> <mirrorOf...

2018-08-27 14:54:46 1034

原创 Hadoop完全分布式环境

Hadoop完全分布式环境前提条件三台虚拟机centos01、centos02、centos03【可以先将一台虚拟机配置起来，然后克隆，克隆遇到的网卡问题参考https://blog.csdn.net/eieiei438/article/details/80644261】分布式结构说明主机名称角色备注 centos01 NameNode DataNod...

2018-08-26 17:44:16 295

原创 Hadoop之日志分析

Hadoop之日志分析环境说明名称版本备注宿主系统 Win7【64位】 VMware 12 虚拟机镜像 CentOS-6.5-x86_64-minimal.iso 下载地址（不同版本）：http://vault.centos.org/ jdk jdk-8u65-linux-x64.tar.gz lin...

2018-08-24 17:09:46 4256

原创 hadoop中Combiner和Partitioner

hadoop中Combiner和PartitionerCombiner是什么 Hadoop组合器类是MapReduce框架中的一个可选类，它添加在Map类和Reduce类之间，用于通过组合Map中的数据输出来减少Reduce类接收的数据量。组合器的主要功能是汇总Map类的输出，以便能够管理来自reducer的数据处理的压力，并且可以处理网络拥塞。怎么用 p...

2018-08-20 15:17:53 467

原创 JobHistory

JobHistoryJobHistory是什么JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml、yarn-site.xml配置，并手动启动。JobHistory怎么用 mapred-site.xml配置中添加 <property> ...

2018-08-20 14:56:48 764

原创 MapReduce入门

MapReduce入门MapReduce原理图例子：单词计数图解单词计数idea项目【maven项目】 pom文件 <repositories> <repository> <id>repo</id> <url>http://repo1.maven.org/mav...

2018-08-17 17:01:47 298

原创 Java操作HDFS

Java操作HDFSmaven仓库【阿里仓库--支持chd的下载】配置文件 <mirror> <id>nexus-aliyun</id> <mirrorOf>*,!cloudera</mirrorOf> <name>Nexus aliyun</name>

2018-08-16 18:04:34 3248 1

转载 maven仓库不支持cdh解决方案

目前maven仓库中没有支持cdh的相关依赖。cloudera自己建立了一个相关的仓库。要想利用maven添加相关依赖，则必须单独添加cloudera仓库。&lt;/p&gt;一、项目pom.xml, 添加仓库配置 &lt;repositories&gt; &lt;repository&gt; &lt;id&a

2018-08-16 15:42:49 3290 4

原创 Linux相关hadoop环境配置

Linux相关hadoop环境配置说明此环境配置适合单机版配置操作系统的版本：centOS6.5jdk安装目录：/home/software/jdk/jdk8hadoop安装目录：/home/hadoop/app/hadoop-2.6.0-cdh5.7.0ssh：已经安装主机名：hadoop01JDK相关配置 JAVA_HOME=/home/softwar...

2018-08-16 13:19:46 279

转载 hadoop2.6.0-cdh5.7.0安装

下载Hadoop和JDK下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gzjdk推荐1.7版本安装JDK解压jdk压缩包 tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/ja...

2018-08-16 11:34:53 1691

原创 MySql常用的命令

MySql常用的命令序号执行的目的执行语句执行结果 1 查看当前mysql的版本号 mysqladmin --version mysqladmin -V mysql --version mysql -V 进入mysql的时候的提示进入mysql后执行 status 使用系统函数【select version();】...

2018-08-14 15:00:32 250

原创 Arvo的Scheme规范

Arvo的Scheme规范语法格式JSON格式支持的【简单】类型null------------no value boolean---------a binary value int ------------32 bit signed integer long------------64 bit signed integer float-----------single pr...

2018-08-13 18:53:50 1322

原创 OAuth2.0

OAuth2.0一、是什么OAuth2.0是行业标准的授权协议，是一个关于授权的开放网络标准二、Logo三、授权方式授权码通过客户端的后台服务器，与需要授权使用的服务提供者的认证服务器进行互动简化不通过第三方应用程序的服务器，直接向认证服务器申请令牌，跳过授权码密码用户向客户端提供自己的用户名和密码，客户端使用用户名和密码，向服务提供商所要授权 ...

2018-08-13 15:11:30 281 1

原创 git日志查看美化

git日志查看美化输入命令 git config –global alias.lg “log –graph –pretty=format:’%Cred%h%Creset -%C(yellow)%d%Creset %s %C green(%cr) %C(bold blue)<%an>%Creset’ –abbrev-commit –date=relative”查看日志 git...

2018-07-11 17:39:34 802

转载 HDFS漫画

http://blog.chinaunix.net/uid-27105712-id-3274395.html 分布式文件系统比较出名的有HDFS 和 GFS，其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。...

2018-07-08 17:27:04 509

Java中的内存管理机制Java内存的划分java把内存分为两种栈内存堆内存栈内存在函数中定义的一些基本类型的变量和对象的引用变量都是在函数的栈内存中分配，当在一段代码中定义一个变量时，java就会在栈中为这个变量分配内存空间，当超过变量的作用域后，java会自动释放掉为该变量分配的内存，该内存空间可以立即另作他用堆内存堆内存用于存放由new创建的对象和数组，在堆中分配内存，由GC来自动回收内存。...

2018-06-14 19:07:05 3052

原创 Zookeeper集群搭建

Zookeeper集群搭建前期准备VMWare Workstationcentos镜像（我用的：CentOS-6.5-x86_64-bin-DVD1）jdk（我用的：1.8.0_65）zookeeper（我用的：zookeeper-3.4.7.tar.gz）环境搭建创建虚拟机，镜像安装（省略）jdk安装（省略），记得配置环境变量zookeeper将zookeeper-3.4.7.tar.gz放到到...

2018-06-11 14:42:20 216 1

原创 VMware忘记账号密码的解决办法

VMware忘记账号密码的解决办法解决步骤重启系统，尚未完全开机按下任意键，进入选择界面按e进入选择界面，选择第二项，按e按空格，输入1，回车按下b键用passwd命令修改密码图文解说重启系统（reboot或init 6），出现下面界面，按任意键进入菜单出现下面界面，按e出现下面界面，选择第二项，按e出现下面界面，空格，并输入1，回车，按下b用passwd修改密码...

2018-06-11 10:56:34 18499 5

原创 VMware修复网卡

VMware修复网卡问题来源克隆后的虚拟机网卡还是之前的，失效其他问题图解错误的解决办法修改配置文件/etc/sysconfig/network-scripts/ifcfg-eth0将ONBOOT改为yes这里只是将网卡设置为开机启动，然而物理地址和UUID都还是原来的，所以只改没用正确的解决办法修改/edc/udev/rules.d/70-persistent-net.rules文件将前几个网卡...

2018-06-10 20:16:01 1464 1

原创 VMware网络连接三种配置

VMware网络连接三种配置三种配置Bridge 模式NAT 模式Host Only 模式图解Bridge 模式NAT 模式Host Only 模式追加解释Bridge 模式将虚拟机添加到局域网中，与真实电脑ip等配置相似，如果局域网内严格给每台计算机分配固定的IP，那这种Bridge模式就基本失效NAT 模式宿主的物理网卡就充当了路由器或交换机的角色，这时VMware会根据宿主的真实IP提供很多...

2018-06-10 11:52:59 11583 1

原创 Android Studio 2.2 中引入opencv 2.4.11

Android Studio 2.2 中引入opencv 2.4.11准备材料Android Studio 2.2（百度网盘地址：https://pan.baidu.com/s/1c29ir4k）OpenCV-android-sdk（选择版本2.4.11： https://opencv.org/releases.html）SDK（基础包下载地址：https://pan.baidu.com/s/1d...

2018-06-06 12:43:45 720 1

原创 Nginx配置文件

Nginx配置文件一、组成部分main：全局设置server：主机设置upstream：上游服务器设置【反向代理、负载均衡】localhost：URL匹配特定位置后的设置二、功能说明main：main部分设置的指令将影响其他所有部分的设置server：server部分的指令主要用于指定虚拟机主机域名、IP和端口upstream：upstream的指令主要用于设置一系列的后端服务器，设置反向代理及后...

2018-05-28 18:32:36 272 1

原创 Docker安装【Windows7】

Docker安装【Windows7】步骤下载docker toolbox【下载地址：http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/】安装（一路next）复制boot2docker.iso到C:\Users\用户名\.docker\machine\cache下启动：双击start.sh见下图即开启成功继续双击docke...

2018-05-07 17:59:50 801 3

原创 Zookeeper在Linux下搭建、java操作、Windows下查看

Zookeeper在Linux下搭建、java操作、Windows下查看Zookeeper在linux下搭建下载linux版的zookeeper压缩包https://download.csdn.net/download/eieiei438/10397185解压（解压命令tar -zxvf 压缩包名）配置我们进入到conf文件夹下面，将zoo_sample.cfg这个文件复制为zoo.cfg修改zo...

2018-05-07 12:22:04 1390 5

原创 Vue中树形结构简单实现

Vue中树形结构简单实现效果代码<template > <div> <grouplists :datas='datas'></grouplists> </div></template><script>export default { //这儿用的脚手架，若是普通文件，这儿就是new V

2018-04-25 18:12:10 6527 3

原创 ListView中Item的具体数据的绑定获取

ListView中Item的具体数据的绑定获取问题描述在做未知数据个数和网络延迟的情况下，得到数据的前后可能会有不同，相应的获取、展示、传递【这个是重点：如何获取此item对应的不干扰的数据数据】听起来比较拗口，如果你的问题和我一样，可以继续往下看问题解决错误的解决方案用Map记录，然后点击相应的item通过position去map中获取数据错误原因：网络延迟，顺序不确定正确的解决方案【Andro...

2018-04-24 12:47:50 865 1

原创 OkHttp使用实例

OkHttp使用实例依赖OkHttp包compile 'com.squareup.okhttp3:okhttp:3.6.0'OkHttp依赖包compile 'com.squareup.okio:okio:1.11.0'json处理包compile 'com.google.code.gson:gson:2.8.0'图示具体例子【封装的两个类，可以直接调用】get方式为例【重在理解原理】import...

2018-04-24 12:37:51 2354 1

原创 Android下OkHttp框架的的依赖和小伙伴【Android Studio编译器】

Android下OkHttp框架的的依赖和小伙伴【Android Studio编译器】依赖OkHttp包compile 'com.squareup.okhttp3:okhttp:3.6.0'OkHttp依赖包compile 'com.squareup.okio:okio:1.11.0'json处理包compile 'com.google.code.gson:gson:2.8.0'图示...

2018-04-24 12:29:25 1060 1

原创 Android图片太大导致无法正常显示

Android图片太大导致无法正常显示原因安卓中有个内存的限制，超过这个限制后资源是无法显示的解决办法在全局配置文件中进行对内存的配置【关键：android:largeHeap="true"】<?xml version="1.0" encoding="utf-8"?><manifest xmlns:android="http://schemas.android.com/apk/...

2018-04-24 11:31:40 4537 1

原创 thrift

thriftthrift简介The Apache Thrift software framework, for scalable cross-language services development, combines a software stack with a code generation engine to build services that work efficiently an...

2018-04-16 20:24:21 786 1

翻译 maven插件打包jar设定主类

maven插件打包jar设定主类 <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-sh...

2018-04-16 19:36:21 4346 9

原创 Nexus私服快速搭建搭建

Nexus私服快速搭建搭建需要一个nexus的war包下载地址https://download.csdn.net/download/eieiei438/10353100需要配置maven的settings文件（注：将【】内容替换掉）<?xml version="1.0" encoding="UTF-8"?><settings xmlns="http://maven.apache...

2018-04-16 19:25:00 263

原创懒人ListView适配器

懒人ListView适配器适配器public abstract class CommonAdaper<T> extends BaseAdapter { private Context context; private List<T> list; public CommonAdaper(Context context, List<T> ...

2018-04-09 12:41:35 185 3

原创解决Vue调用微信扫描不能连续扫描的问题

解决Vue调用微信扫描不能连续扫描的问题问题描述在Vue中调用微信的扫码功能，第一次请求可以正常访问，但是在该界面再次访问时，回调函数不能执行问题核心代码<template> <div> <div style="padding-left:40px;padding-right:40px;padding-top:8px;padding-bottom...

2018-04-03 19:15:31 2922

原创 Zebra项目图解

Zebra项目图解

2018-03-26 12:15:16 1898 5

原创在Vue中调用微信的扫描二维码功能

在Vue中调用微信的扫描二维码功能步骤新建vue文件（这里采用mint的标签库--就一个按钮~~）关键代码<template> <div class="login_div"> <mt-button id="wxsys" type="primary" v-on:click="sys_click()">扫一扫</

2018-03-26 11:58:00 33250 12