挖矿的小强的博客

原创 第8节：scala常用集合Map和Tuple

package basicsobject HelloMapTuple { def main(args: Array[String]): Unit = { var bigdatas = Map("Spark" -> 6, "Hadoop" -> 11) //bigdatas("Spark")=10直接构造的map是不可变的，一旦改变就变成新的内容，原有内容保持不变 p

原创 Spring Boot：（二）核心讲解

Spring Boot的核心在上篇中我们成功运行了一个简单的web应用，其中有一个注解被轻易的带过了，但它在Spring Boot中是最重要的注解，没有之一，它就是@SpringBootApplication，本篇将对它与Spring Boot的配置进行深入的介绍。1、@SpringBootApplication前面已经说过了，一般Spring Boot的Web应用都有

原创 Spring Boot:（一）快速入门

一、Spring Boot久闻Spring Boot大名，这两天终于得空，学习了一把，发觉Spring Boot确实好用，那Spring Boot到底是什么，又是怎么好用呢？什么是Spring Boot目前ssm框架还是比较常用的，其中的ss指的无非就是Spring 和 SpringMVC，我们可以简单的认为 “Spring Boot ≥ Spring + SpringMV

原创 一、使用cxf的JaxWsServerFactoryBean创建webservice的服务端和客户端

A。创建服务端配置文件：import com.enn.cn.util.PropertiesUtil;import org.apache.cxf.jaxws.JaxWsServerFactoryBean;/** * Created by Administrator on 2017/10/30. */public class ExecServer { publ

原创 OpenTSDB数据写入HTTP API接口,统计总记录数

一.命名方案OpenTSDB命名格式有点类似于RRD样式，只不过引入了标记(tags)，使得指标(metric)更具有代表性和通用性，可以共享许多独特的时间序列。通过标记的键值对组合来确定指标的唯一性，可以非常灵活的进行聚合函数的查询。RRD如果要记录web1服务器的第一个CPU的用户空间使用量，命名的格式为web1.sys.cpu.0.user，如果有上千台服务器，每台多核CPU

原创 java封装openTsDb连接以及查询，插入数据

package enn.cn.dataimport;/** * Created by Administrator on 2017/10/26. */import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.util.*;public class OpentsdbClientTest { pri

原创 OpenTSDB部署

1 安装本次安装是从 Github下载源码进行编译安装2 运行环境Linux 系统（本次使用CentOS6.5）JDK 1.6 及以上（本次使用JDK1.7）HBase 0.92 及以上（本次使用HBase1.0.0）GnuPlot 4.2 及以上3 源码编译3. 1 环境A Linux systemJava Development Kit 1.6 or laterGn

原创 OpenTSDB安装，配置，数据存储介绍

1.什么是OpenTSDB2.OpenTSDB是用什么语言编写和构建的？3.如何安装OpenTSDB？1. OpenTSDB介绍OpenTSDB用HBase存储所有的时序（无须采样）来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics，支持永久存储，可以做容量规划，并很容易的接入到现有的报警系统里。OpenTSDB可以从大规模的集群（包括集

原创 SparkSQL读取HBase数据，通过自定义外部数据源（hbase的Hive外关联表）

关键字：SparkSQL读取HBase、SparkSQL自定义外部数据源前面文章介绍了SparSQL通过Hive操作HBase表。SparkSQL从1.2开始支持自定义外部数据源(External DataSource)，这样就可以通过API接口来实现自己的外部数据源。这里基于Spark1.4.0，简单介绍SparkSQL自定义外部数据源，访问HBase表。在HBase中表

原创 基于Hbase的Spark Sql示例 一

package enn.cn.dataimportimport java.io.Serializableimport java.util.logging.Loggerimport enn.cn.util.{CommonContent, KerberosUtil}import o

原创 第7节：scala面向对象编程

查看spark源码中使用scala面向对象编程的例子                 class Helloop(age:Int){ var name="Spark" def

原创 第6节：scala中数组的操作运算

1.partitions本身也是个集合package croyimport scala.collection.mutable.ArrayBufferimport scala.util.Sortingobject HelloArrayOps { def main(args: Array[String]): Unit = { /

原创 Zookeeper工作原理（详细）

» 领导者（leader），负责进行投票的发起和决议，更新系统状态　　» 学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票　　» Observer可以接受客户端连接，将写请求转发给leader，但observer不参加投票过程，只同步leader的状态，observer的目的是为

原创 第5节:Scala函数式编程

谓顺序可变参数加上递归的方式实现累加，tail返回的是Seq类型，tail后面转变成可变参数

原创 第4节：Scala控制结构if..else,for,while,breakable

控制结构在spark源码中的鉴赏  none 省写的话默认是（）是返回any类型，而none是optional类型。     case object None extends Option[Nothing] {  def isEmpty = true  def get = throw new

原创 第3课：在IDE下开发一个Scala程序,透彻解析及Scala控制结构

1 通过IDE 开发第一个scala程序彻底详解2 scala基础语法和控制结构实战详解 object作为scala的一个关键字，相当于 java中public static class这样的一个修饰符，object中的成员都是静态的，main方法是静态的，不需要类的实例就可以直接被虚拟机调用，这正是作为jvm平台上程序入口的必备条件。 packag

原创 第2节:如何成为scala高手

原创 第1节：Scala大数据黄金时代的编程语言

1、spark首选语言，框架实现语言2.公认的第一重要的kafka开发语言，kafka具有无可匹及的吞吐量和消息数据的持久化能力

原创 HDFS 读取、写入、遍历目录获取文件全路径、append文件创建或者写入报错问题分析

程序如： 1.报错类似下面的信息：  org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException): Failed to create file [/user/hive/warehouse/test.db/incr_iot_report_gs

原创 Maven打包方式，以及jar包冲突问题的解决方法

一、打包方式：Maven可以使用mvn package指令对项目进行打包，如果使用Java -jar xxx.jar执行运行jar文件，会出现"no main manifest attribute, in xxx.jar"（没有设置Main-Class）、ClassNotFoundException（找不到依赖包）等错误。要想jar包能直接通过java -jar xxx.j

原创 HttpClient4.5.2 连接池原理和注意事项

一、为什么要用Http连接池1、降低延迟：如果不采用连接池，每次连接发起Http请求的时候都会重新建立TCP连接(经历3次握手)，用完就会关闭连接(4次挥手)，如果采用连接池则减少了这部分时间损耗，别小看这几次握手，本人经过测试发现，基本上3倍的时间延迟2、支持更大的并发：如果不采用连接池，每次连接都会打开一个端口，在大并发的情况下系统的端口资源很快就会被用完，导致无法建立新的连接

原创 查看Linux操作系统运行状态的命令

vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。一般vm

原创 错误[由于kafka.common.LeaderNotAvailableException而导致的主题test-1的分区元数据]

应该是partition下面没数据Kafka使用外部协调框架（默认Zookeeper）来维护配置。看来配置现在与Kafka日志数据不同步。在这种情况下，我会删除受影响的主题数据和相关的Zookeeper数据。测试环境：停止  Kafka-server 和 Zookeeper-server删除这两个服务的数据目录，默认情况下它们是  /tmp/kafka-log 

原创 使用zookeeper解决程序在不同集群之间运行的高可用

package enn.cn.util;/** * Created by Administrator on 2017/9/18. */import org.apache.zookeeper.*;import org.apache.zookeeper.data.Stat;import org.slf4j.Logger;import org.slf4j.LoggerFactory;

原创 Kafka+Spark Streaming+Redis实时计算整合实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于Spark Streaming的实时计算。我

原创 IE兼容问题

获取浏览器真实版本//window.navigator.userAgent在IE8下，它是4.0，在IE9下是 5.0，在IE10下是6.0，在IE11下是7.0.设置兼容性后的版本function getVersion(){ var ua = window.navigator.userAgent; var isIE = window.ActiveXObje

原创 java列表导出excel公共方法

package cn.enn.edata.util;import java.awt.image.BufferedImage;import java.io.*;import java.lang.reflect.Field;import java.lang.reflect.InvocationTargetException;import java.lang.reflect.Method;

原创 Scala隐式转换和作用域分析

1 Scala隐式转换内幕2 Scala作用域3 Scala隐式转换思考 /** * 隐式转换和作用域 */class Implicits(x: Int) {  def printValue = {    val x = 100    println(x)  }}class RicherFile(val file: java.io.F

原创 第27节：Scala面向对象内幕实践解密

下面解释为什么不需要写main方法直接继承App就可以执行方法：object AppInternals {  }trait Helper extends DelayedInit {  def delayeinit(body: => Unit) = {    println("this is the initialization code of C")

原创 第26节：Scala的核心力量和黄金定律

原创 第25节：Scala并发编程进阶

现代的并发编程=消息系统+线程复用import scala.actors.Actor/** * 并发编程进阶 */class HelloCcalaActor extends Actor{  def act(){    while (true) {      receive{//不可以复用线程处理高并发特别消耗性能        case "isscala"

原创 第24节：关于继承和trait进阶

Scala继承体系，源头在Any，一分为二AnyRef和AnyVal，终结于Nothing   scala是完全面向对象的，因为它把值类型封装成类和对象，scala搞了个更高层次的抽象java中1是没有方法的，scala中的1有，虽然存在隐式转换Scala集成体，一分为二，开始于Any和AnyValue，结束语nothingobj

原创 第23节：Scala外部命令和正则表达式

import sys.process._  //导入包 object Hell0RegExpAndCMD{    def main(args: Array[String]): Unit = {      //"javac  Hello.Java" !    "Java Hello" !    val pattern = "[0-9]+".r    val resul

原创 第22节：Scala集合和高级函数操作

scala> (1 to 10)res0: scala.collection.immutable.Range.Inclusive = Range(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)scala> (1 to 10).re:8: error: value re is not a member of scala.collection.immutable.Rang

原创 第21节：Scala文件和xml操作(上)

1 spark源码的文件和xml使用的源码鉴赏2 scala文件和xml操作实战 package com.dtspark.scala.basicsimport java.io.ByteArrayOutputStreamimport java.io.ObjectInputStreamimport java.io.ByteArrayInputStreamimport

原创 第19节：Scala偏函数、异常、Lazy值编码

一：偏函数（Partial）定义 偏函数：当函数有多个参数，而在使用该函数时不想提供所有参数（比如函数有3个参数），只提供0~2个参数，此时得到的函数便是偏函数。object HelloPartialFunction { def main(args: Array[String]): Unit = { val sample = 1 to 10 /* val isEven

原创 第20节：Scala 提取器与注解深度解析之编程进阶

一 ：提取器理论： 所谓提取器就是一个带有unapply方法的对象。你可以吧unapply方法当做是半生对象中apply方法的反向操作。 （1）apply方法接受构造参数，然后将他们变成对象。 （2）而unapply方法接受一个对象，然后从中提取值——通常这些值就是当初用来构造该对象的值。@DTCoder(name = "Scala",salary = 170900) case

原创 微信小程序开发指南，开发文档，开发案例

因为本人没有小程序的内测资格，所以所有的开发及Demo都是无AppId的，如果哪位同学可以分享AppId，那感激不尽！下载开发工具https://mp.weixin.qq.com/debug/wxadoc/dev/devtools/download.html?t=1476197489869在这里请注意，下载下来这个程序和以前的“微信web开发者工具”是同名同目录的，

原创 根据经纬度获取地理位置名称省、市等信息

秘钥申请地址http://lbsyun.baidu.com/apiconsole/key直接上代码：package mg.algorithm;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.Malform