2016年05月_往事随风ing

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 [Spark应用]-- 自定义spark udf计算单词的长度

Spark Sql的UDF函数非常好用，相比Hive，很简洁 import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextimport org.apache.spark.sql.types.StructTypeimport or...

2016-05-30 19:53:54 1670

原创 [Spark应用]-- spark sql版本的单词统计代码

见下面代码实现import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextimport org.apache.spark.sql.Rowimport org.apache.spark.sql.types.DataTypesimpo...

2016-05-30 19:50:46 996

原创 [Spark应用]-- 实现uv统计（使用内置函数）

废话不多说，具体实现代码如下import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextimport org.apache.spark.sql.Rowimport org.apache.spark.sql.types.StructTyp...

2016-05-30 19:45:03 3896

原创 [Spark应用]-- 使用spark的dataframe实现单词统计

一、文件内容worldhellowwwcassiewwwhellowwwlisiworldcassiehello二、操作类package com.day.scala.sqlimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark...

2016-05-27 16:24:06 3428

翻译 [HBase进阶]--rowkey设计要点（官方文档介绍）

官方文档说明 http://hbase.apache.org/book.html#rowkey.design一、Hotspotting（热点效应） 1、hbase是字典排序，这是一种优化扫描的方式，它允许你去把相关的行存储在一起，如果设计rowkey不当会产生严重热点效应2、性能下降：当一大波数据流向同一个节点时，热点效应即发生，导致该区域不可使用3、均匀分布数据到re...

2016-05-26 13:14:21 2810

原创 [Freemaker基础]-- java使用freemaker生成xml

1、创建java project-------》freemaker,再导入jar包（freemarker.jar）2、编写ftl文件----》kvm.ftl（内容见备注一）3、编写测试类：TestCreate.java(内容见备注二)4、运行测试类即可【备注一】<domain type='kvm'><name>${kvmName}</name>&l...

2016-05-23 14:06:54 1153

原创 [Hadoop基础]--java操作hdfs（上传、下载、查询）

一、新建java project二、导入hdfs的配置文件到src目录下core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml三、导入相关jar（hadoop的所有jar包）四、编写测试类import java.io.File;import java.io.FileInputStream;import org.apache.commons....

2016-05-23 13:37:33 1418

原创 [Maven基础]-- maven的setting.xml配置国内常用静态源

<?xml version="1.0" encoding="UTF-8"?><settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=&quot

2016-05-19 18:14:53 6206

原创 [数据库druid连接池实现]--Java版本

前言之前有介绍一篇关于自定义的数据库链接池实现，但是质量并不高。而且遭到博友的一脸嫌弃！确实，拿出来的东西就应该保证是正确的，或者质量高，否则很容易就误导了他人，显得TMD也不道德，所以今天专门重写之前的想法，当然，还有许多文章需要更新，后期我都会一一完善，希望对各位有一定的帮助。目前针对Java web应用使用的数据库链接池比较多也很杂，但稳定且好用的还是推荐阿里巴巴的dru...

2016-05-09 21:02:22 7247 5