- 博客(13)
- 资源 (26)
- 收藏
- 关注
RSS订阅转载 java 接口的坑
在interface里面的变量都是public static final 的。所以你可以这样写： public static final int i=10; 或则 int i=10；（可以省略掉一部分）注意在声明的时候要给变量赋予初值解释：首先你要弄清接口的含义.接口就是提供一种统一的’协议’,而接口中的属性也属于’协议’中的成员.它们是公共的,静态的,最终的常量.相当于全局常量...
2018-08-25 12:17:56
185
原创 Object.clone的坑
Object.clone只能克隆基本类型,如果里面包含其他的Object的,那么其对象还是只想原来的引用.所以在Clone的时候,内部对象也要克隆,否则就容易出bug/******************************************************************************* * 版权信息：北京中通天鸿武汉分公司 * @author xuc...
2018-08-23 20:05:35
419
原创 joda-time中Intervals,Duration,Period的使用
先贴代码,之后再补理解:package net.icsoc.cti.report;import org.joda.time.*;/******************************************************************************* * 版权信息：北京中通天鸿武汉分公司 * @author xuchang * Copy...
2018-08-23 19:38:44
3034
原创 Hive 命令行使用
1.执行shell命令,但是该中方式暂时不支持管道hive> !cat myfile > ;one rowhive> !pwd > ;/root/xuchanghive>2.hive使用Hadoop的dfs命令hive> dfs -ls / > ;Found 7 itemsdrwxr-x--x - had
2018-08-23 13:35:41
470
原创 Hive 使用Load加载数据
首先需要在hive上建表. CREATE TABLE Load( key STRING , value STRING ) row format delimited fields Terminated by ' ' lines terminated by '\n'stored AS textfilelocation 'oss://icsoc-emr-hadoop/cti-backu...
2018-08-23 13:25:05
9949
原创 Hive数据结构转换
在之前项目中,由于本分到Hive的数据格式是JSON字符串的格式,其中核心的数据集是以一个字符串,存在MSG列下的,所以就需要将MSG的数据解析出来,单独作为一个结构,一边后续的数据进行分析处理,直接上代码:CREATE EXTERNAL TABLE cti_agent_data( vcc_id INT , ag_id INT , grp_id INT, que_id IN...
2018-08-23 10:14:15
577
原创 Netty实现简单的Http服务器
之前在upload服务器的时候,由于tomcat性能瓶颈的的问题,qps无法达到要求,了解到Netty.io的高性能,觉得自己写一个Http接受数据的服务器来处理客户段上报的数据,比较简单,直接贴代码了:package com.bonree.browser.httpServer.server;import com.bonree.browser.httpServer.handler.Http...
2018-08-23 10:07:44
567
原创 MR任务之后提交Hadoop批量索引任务
MR程序运行成功之后,生成的JSON数据放入指定的目录,然后利用HTTP的POST,向druid.io的overload上提交任务 private static void submitHadoopIndexTask(FileSystem fileSystem, String dataSource, String intervals, List<Path&...
2018-08-22 17:48:51
432
原创 Mac将本地文件上传到linux服务器的命令
scp /Users/icsoc/work/code/data-warehouse/cti-report-batch/src/main/resources/supervisor-spec.json root@192.168.165.130:/root/xuchang/kafka-index-service
2018-08-22 14:21:02
6234
原创 druid.io kafka-Index-service.json任务
supervisor-spec1.json如下:{ &quot;type&quot;: &quot;kafka&quot;, &quot;dataSchema&quot;: { &quot;dataSource&quot;: &quot;metrics-kafka&quot;, &quot;parser&a
2018-08-22 14:13:32
1186
原创 Hadoop分布式文件缓存(DistributeCache)
如果在Hadoop程序中,我们需要将一大堆中间结果集,给其他的MR任务的使用,那么这个参数怎么传递呢? 如果是少量的参数问题,我们可以使用Configuration使用,但是如果是大量的结果集怎么处理呢? 这个时候,就需要引入MR任务的分布式缓存文件系统了. 如果要使用缓存文件,首先需要在Driver层,将中间结果的文件路径添加到MR的job中package net.icsoc.ct...
2018-08-22 13:55:46
1840
翻译 druid.io 优化
策略 可以使用两种不同的策略执行GroupBy查询。集群的默认策略由代理上的“druid.query.groupBy.defaultStrategy”运行时属性确定。这可以在查询上下文中使用“groupByStrategy”覆盖。如果既未设置上下文字段也未设置属性，则将使用“v2”策略。“v2”是默认设计，旨在提供更好的性能和内存管理。此策略使用完全堆外映射生成每段结果。数据节点使用完全堆外...
2018-08-06 11:44:00
2135
转载 矩阵的运算及其运算规则
一、矩阵的加法与减法 1、运算规则 设矩阵，， 则 简言之，两个矩阵相加减，即它们相同位置的元素相加减！ 注意：只有对于两个行数、列数分别相等的矩阵（即同型矩阵），加减法运算才有意义，即加减运算是可行的． 2、 运算性质 （假设运算都是可行的） 满足交换律和结合律 交换律 ； 结合律 ．二、矩阵与数的乘法 ...
2018-08-01 16:56:48
5830
Druid-Lookups.postman_collection.json
2019-06-05
大数据相关书籍
2017-12-21
Netty权威指南
2017-12-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人