- 博客(12)
- 收藏
- 关注
RSS订阅原创 sqoop从关系库导出数据到hive
[Author]: kwu ---sqoop从关系库导出数据到hive，sqoop支持条件查询关系库中的数到hive数据仓库中，并且字段无须与hive表中的字段一致。
2015-07-31 18:22:38
1340
原创 基于sparksql调用shell脚本执行SQL
[Author]: kwu --- 基于sparksql调用shell脚本执行SQL，sparksql提供了类似hive中的 -e , -f ,-i的选项
2015-07-30 16:55:48
8349
1
原创 基于spark1.4的Spark-Sql
Author： kwu --- 基于spark1.4的Spark-Sql，spark1.4.1在7月15刚发布，提供较好sql支持
2015-07-23 14:29:16
1570
原创 【解决】hive动态增加partitions不能超过100的问题
Author： kwu --- 【解决】hive动态增加partitions不能超过100的问题，全量动态生成partitions超过100会出现如下异常：
2015-07-20 11:16:00
3130
1
原创 快速查询hive数据仓库表中的总条数
Author： kwu --- 快速查询hive数据仓库中的条数，在查询hive表的条数，通常使用count(*)，但是数据量大的时候，mr跑count(*)往往需要几分钟的时间。
2015-07-20 10:47:05
15789
1
原创 【解决】hive与hbase表结合级联查询的问题
[Author]: kwu --- 【解决】hive与hbase表结合级联查询的问题，hive两个表以上，关联查询时出现长时无法返回的情况。同时也不出现，mr的进度百分比
2015-07-17 16:17:43
2205
原创 快速基于echarts的大数据可视化
[Author]: kwu --- 快速基于echarts的大数据可视化，echarts纯粹的js实现的图表工具，快速开发的步骤如下：
2015-07-09 15:32:31
6683
3
原创 基于反射实现自动化restful开发
[Author]: kwu --- 基于反射实现自动化restful开发，通用的只需要写查询数据库的sql，并加入对应的javabean实现的快速restful服务的开发。
2015-07-09 14:52:40
1296
原创 创建C3P0数据源
[Author]: kwu --- 创建C3P0数据源，实际开发中直接用JDBC连接数据库是非常少的，一般使用数据源的形式，C3P0是开源的数据源，实际项目用得很多：
2015-07-07 16:14:34
1848
转载 系统过度导致Chrome图标丢失的恢复方法
问题示例：解决方法：把下面的文字复制到文本文档，改后缀名为.bat，双击运行，okrem 关闭Windows外壳程序explorertaskkill /f /im explorer.exerem 清理系统图标缓存数据库attrib -h -s -r "%userprofile%\AppData\Local\IconCache.db
2015-07-05 10:03:27
2486
转载 百度统计、CNZZ统计与Google Analytics横向评测
转载：Fu流量统计作为互联网站点最基础的数据分析工具，几乎与每个站长、互联网从业者相关。在互联网这个没有硝烟的战场上，流量统计工具就像打仗用的武器。能否选好适合自己的武器、用好武器，很大程度上决定了我们的胜败。 今天我们就来说说百度在今年新推出的免费流量统计工具：百度统计，与之对比的是统计工具：CNZZ（含全景统计和广告统计）。今天我们来横向测评下这两款武器。 一、基本的统计数据指
2015-07-04 22:33:52
2035
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人