nice work

好好学习,天天向上

Spark性能调优

鉴于Spark基于内存计算这一天性,以下集群资源可能会造成Spark程序的瓶颈:CPU,带宽和内存。通常情况下,如果内存足够的情况下,瓶颈只可能出现在网络带宽方面;但有时,你也需要做一些例如序列化优化来降低内存使用率。这份指导主要集中于两方面:数据序列化,这是充分提升网络表现和降低内存消耗、内存优...

2017-01-25 17:28:51

阅读数:484

评论数:0

postgresql分析函数

SELECT uid, odate, num, sum(num) over (), sum(num) over (partition by uid), sum(num) over (partition by uid,odate), sum(num) over (order by uid,odat...

2018-10-24 11:08:23

阅读数:122

评论数:0

awk学习

转载 自 http://blog.chinaunix.net/uid-23302288-id-3785105.html awk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理,然后输出 aw...

2018-09-11 13:54:41

阅读数:40

评论数:0

主键冲突的解决方案

现象: 高并发场景下,入库时出现主键冲突,此主键并非自增主键,而是由三个字段组成的联合主键。 业务逻辑: 新来的数据提取的主键在数据库里没有,就直接插入,即执行insert;如果数据库中存在相同主键,则用新的数据更新数据库中已有的数据,即执行update。 场景: 多服务器,多线程 目标: 实现一...

2018-09-06 18:01:00

阅读数:240

评论数:0

hive case when then 多条件

select substr(key,13,2), case when birthday<'1968' then '50up' when birthday<'1978' then '40-50' when birthday<'19...

2018-07-10 17:55:17

阅读数:3655

评论数:0

hive外部表链接hbase的表

 create external table hiveTable(key string,birthday string,gender string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'  with serdepr...

2018-07-10 17:52:33

阅读数:239

评论数:0

java.lang.ClassNotFoundException: org.jetbrains.sbt.CreateTasks$

使用的idea plugins 中的scala插件版本有bug,请升级 1.我使用的idea为版本为2017.3.5,下载的scala插件版本也为2017.3.5这个版本有bug 2.这个bug直到2017.11.28才被修复,对应的是插件第九个版本2017.3.9,此时就被修复了 3我下载...

2018-03-22 13:00:10

阅读数:1376

评论数:0

JAXB2 性能优化

http://blog.csdn.net/xlxxcc/article/details/54612560

2018-02-27 17:51:06

阅读数:70

评论数:0

安装scipy

pip install -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com scipy

2017-12-13 10:15:23

阅读数:143

评论数:0

svn RA layer request failed unable to connect to a repository

svn RA layer request failed unable to connect to a repository 验证位置时发生错误

2017-11-10 18:49:57

阅读数:2557

评论数:0

fastjson属性首字母大写问题

fastjson属性首字母大写问题 fastjson首字母大写 fastjson转json字符串时首字母大写变小写

2017-10-30 14:50:02

阅读数:245

评论数:0

xsd文件反向生成JavaBean

xsd生成javabean类

2017-10-26 15:04:00

阅读数:1166

评论数:0

DateUtils.parseDate的缺陷

Date d = DateUtils.parseDate("201809011", new String[]{"yyyyMMdd".intern()});  Date d = DateUtils.parseDate("20180940"...

2017-10-17 18:52:00

阅读数:3939

评论数:0

sonar扫描非maven项目

sonar扫描非maven项目 sonar maven 单元测试覆盖率

2017-09-30 19:13:32

阅读数:395

评论数:0

UnsupportedClassVersionError: SonarQubeMojo : Unsupported major.minor version 52.0

UnsupportedClassVersionError: SonarQubeMojo : Unsupported major.minor version 52.0

2017-09-07 11:58:08

阅读数:760

评论数:0

hbase shell

http://blog.csdn.net/power0405hf/article/details/49824579

2017-08-01 10:02:01

阅读数:166

评论数:0

Xpath dom4j解析带有命名空间的XML的方法

Xpath dom4j解析带有命名空间的XML的方法

2017-07-26 20:37:24

阅读数:812

评论数:0

hbase行键设计

http://opentsdb.net/docs/build/html/user_guide/backends/hbase.html

2017-07-20 14:19:23

阅读数:196

评论数:0

集合中元素的比较

集合中元素是否相等: 首先计算hashcode(Object类中的hashcode是根据对象的地址计算出来的) 然后在计算equals(Object类中的equals是以对象引用是否相等为判断依据) TreeSet中的元素必须实现Comparable接口,判断是否相同依据的是元素的compar...

2017-07-17 19:16:56

阅读数:150

评论数:0

HBase scan RPC次数计算

假设:HBase有一个表,此表有2个列族,每个列族各包含10列,一共有10行数据。 然后进行scan范围扫描 scan.setCaching(mm); scan.setBatch(nn);

2017-07-12 19:41:41

阅读数:221

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭