2018年08月_乘风御浪云帆之上

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创下载微信服务器上的图片到自己的服务器

下载微信服务器上的图片到自己的服务器微信上传图片后单张图片将返回serverId 多张图片将返回serverId数组，后续只需遍历下载即可下载微信服务器上的图片工具类。。。import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.i...

2018-08-31 11:01:33 5967 2

原创编译spark2.1.0

编译spark2.1.0目标得到spark-2.1.0-bin-2.6.0-cdh5.7.0环境jdk 1.8.0_65【1.7+】 maven Apache Maven 3.3.9【3.3.9版】 spark 2.1.0 下载地址【http://spark.apache.org/downloads.html】选项选择 settings.x...

2018-08-29 21:53:58 586

原创 Spring Boot 配置Hadoop

Spring Boot 配置Hadoop核心FsShell自动注入项目工程Maven工程Maven的setting.xml文件配置。。。<mirror> <id>nexus</id> <mirrorOf>*,!cloudera</mirrorOf> <url>http://...

2018-08-27 17:38:47 9424 2

原创 Spring配置Hadoop

Spring配置Hadoop核心将Hadoop中的FileSystem的创建通过Spring的依赖注入的方式进行创建其他的操作与Java操作Hadoop的API方式是一致的项目工程Maven工程Maven的setting.xml文件配置。。。<mirror> <id>nexus</id> <mirrorOf...

2018-08-27 14:54:46 1034

原创 Hadoop完全分布式环境

Hadoop完全分布式环境前提条件三台虚拟机centos01、centos02、centos03【可以先将一台虚拟机配置起来，然后克隆，克隆遇到的网卡问题参考https://blog.csdn.net/eieiei438/article/details/80644261】分布式结构说明主机名称角色备注 centos01 NameNode DataNod...

2018-08-26 17:44:16 295

原创 Hadoop之日志分析

Hadoop之日志分析环境说明名称版本备注宿主系统 Win7【64位】 VMware 12 虚拟机镜像 CentOS-6.5-x86_64-minimal.iso 下载地址（不同版本）：http://vault.centos.org/ jdk jdk-8u65-linux-x64.tar.gz lin...

2018-08-24 17:09:46 4255

原创 hadoop中Combiner和Partitioner

hadoop中Combiner和PartitionerCombiner是什么 Hadoop组合器类是MapReduce框架中的一个可选类，它添加在Map类和Reduce类之间，用于通过组合Map中的数据输出来减少Reduce类接收的数据量。组合器的主要功能是汇总Map类的输出，以便能够管理来自reducer的数据处理的压力，并且可以处理网络拥塞。怎么用 p...

2018-08-20 15:17:53 467

原创 JobHistory

JobHistoryJobHistory是什么JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml、yarn-site.xml配置，并手动启动。JobHistory怎么用 mapred-site.xml配置中添加 <property> ...

2018-08-20 14:56:48 764

原创 MapReduce入门

MapReduce入门MapReduce原理图例子：单词计数图解单词计数idea项目【maven项目】 pom文件 <repositories> <repository> <id>repo</id> <url>http://repo1.maven.org/mav...

2018-08-17 17:01:47 298

原创 Java操作HDFS

Java操作HDFSmaven仓库【阿里仓库--支持chd的下载】配置文件 <mirror> <id>nexus-aliyun</id> <mirrorOf>*,!cloudera</mirrorOf> <name>Nexus aliyun</name>

2018-08-16 18:04:34 3248 1

转载 maven仓库不支持cdh解决方案

目前maven仓库中没有支持cdh的相关依赖。cloudera自己建立了一个相关的仓库。要想利用maven添加相关依赖，则必须单独添加cloudera仓库。&lt;/p&gt;一、项目pom.xml, 添加仓库配置 &lt;repositories&gt; &lt;repository&gt; &lt;id&a

2018-08-16 15:42:49 3290 4

原创 Linux相关hadoop环境配置

Linux相关hadoop环境配置说明此环境配置适合单机版配置操作系统的版本：centOS6.5jdk安装目录：/home/software/jdk/jdk8hadoop安装目录：/home/hadoop/app/hadoop-2.6.0-cdh5.7.0ssh：已经安装主机名：hadoop01JDK相关配置 JAVA_HOME=/home/softwar...

2018-08-16 13:19:46 279

转载 hadoop2.6.0-cdh5.7.0安装

下载Hadoop和JDK下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gzjdk推荐1.7版本安装JDK解压jdk压缩包 tar -zxvf /home/hadoop/software/jdk-7u80-linux-x64.tar.gz -C /usr/ja...

2018-08-16 11:34:53 1691

原创 MySql常用的命令

MySql常用的命令序号执行的目的执行语句执行结果 1 查看当前mysql的版本号 mysqladmin --version mysqladmin -V mysql --version mysql -V 进入mysql的时候的提示进入mysql后执行 status 使用系统函数【select version();】...

2018-08-14 15:00:32 250

原创 Arvo的Scheme规范

Arvo的Scheme规范语法格式JSON格式支持的【简单】类型null------------no value boolean---------a binary value int ------------32 bit signed integer long------------64 bit signed integer float-----------single pr...

2018-08-13 18:53:50 1322

原创 OAuth2.0

OAuth2.0一、是什么OAuth2.0是行业标准的授权协议，是一个关于授权的开放网络标准二、Logo三、授权方式授权码通过客户端的后台服务器，与需要授权使用的服务提供者的认证服务器进行互动简化不通过第三方应用程序的服务器，直接向认证服务器申请令牌，跳过授权码密码用户向客户端提供自己的用户名和密码，客户端使用用户名和密码，向服务提供商所要授权 ...

2018-08-13 15:11:30 281 1