- 博客(12)
- 收藏
- 关注
原创 sqoop从关系库导出数据到hive
[Author]: kwu ---sqoop从关系库导出数据到hive,sqoop支持条件查询关系库中的数到hive数据仓库中,并且字段无须与hive表中的字段一致。
2015-07-31 18:22:38 1379
原创 基于sparksql调用shell脚本执行SQL
[Author]: kwu --- 基于sparksql调用shell脚本执行SQL,sparksql提供了类似hive中的 -e , -f ,-i的选项
2015-07-30 16:55:48 8433 1
原创 基于spark1.4的Spark-Sql
Author: kwu --- 基于spark1.4的Spark-Sql,spark1.4.1在7月15刚发布,提供较好sql支持
2015-07-23 14:29:16 1607
原创 【解决】hive动态增加partitions不能超过100的问题
Author: kwu --- 【解决】hive动态增加partitions不能超过100的问题,全量动态生成partitions超过100会出现如下异常:
2015-07-20 11:16:00 3190 1
原创 快速查询hive数据仓库表中的总条数
Author: kwu --- 快速查询hive数据仓库中的条数,在查询hive表的条数,通常使用count(*),但是数据量大的时候,mr跑count(*)往往需要几分钟的时间。
2015-07-20 10:47:05 15991 1
原创 【解决】hive与hbase表结合级联查询的问题
[Author]: kwu --- 【解决】hive与hbase表结合级联查询的问题,hive两个表以上,关联查询时出现长时无法返回的情况。同时也不出现,mr的进度百分比
2015-07-17 16:17:43 2236
原创 快速基于echarts的大数据可视化
[Author]: kwu --- 快速基于echarts的大数据可视化,echarts纯粹的js实现的图表工具,快速开发的步骤如下:
2015-07-09 15:32:31 6751 3
原创 基于反射实现自动化restful开发
[Author]: kwu --- 基于反射实现自动化restful开发,通用的只需要写查询数据库的sql,并加入对应的javabean实现的快速restful服务的开发。
2015-07-09 14:52:40 1333
原创 创建C3P0数据源
[Author]: kwu --- 创建C3P0数据源,实际开发中直接用JDBC连接数据库是非常少的,一般使用数据源的形式,C3P0是开源的数据源,实际项目用得很多:
2015-07-07 16:14:34 1892
转载 系统过度导致Chrome图标丢失的恢复方法
问题示例:解决方法:把下面的文字复制到文本文档,改后缀名为.bat,双击运行,okrem 关闭Windows外壳程序explorertaskkill /f /im explorer.exerem 清理系统图标缓存数据库attrib -h -s -r "%userprofile%\AppData\Local\IconCache.db
2015-07-05 10:03:27 2503
转载 百度统计、CNZZ统计与Google Analytics横向评测
转载:Fu流量统计作为互联网站点最基础的数据分析工具,几乎与每个站长、互联网从业者相关。在互联网这个没有硝烟的战场上,流量统计工具就像打仗用的武器。能否选好适合自己的武器、用好武器,很大程度上决定了我们的胜败。 今天我们就来说说百度在今年新推出的免费流量统计工具:百度统计,与之对比的是统计工具:CNZZ(含全景统计和广告统计)。今天我们来横向测评下这两款武器。 一、基本的统计数据指
2015-07-04 22:33:52 2097
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人