数据分析
宁静的银杏树
这个作者很懒,什么都没留下…
展开
-
微观数据资料简介
(一) UHS (Urban Household Survey)简介:中国城镇住户调查数据。它是国家统计局城调总队负责调查的。现在可以拿到1986年至2006年的数据。如果可能的话,我们可以拿到全部省份的数据,但现在大家使用的是六个省份的数据(北京、广东、浙江、辽宁、陕西、四川)。每年大约有3500-4000户的数据。(内附1992年调查问卷)包含变量:(1)个人层次上的变量转载 2013-06-21 10:55:08 · 9703 阅读 · 0 评论 -
MapReduce 编程模型在日志分析方面的应用
简介: 日志分析往往是商业智能的基础,而日益增长的日志信息条目使得大规模数据处理平台的出现成为必然。MapReduce 处理数据的有效性为日志分析提供了可靠的后盾。本文将以对访问网页用户的日志进行分析,进而挖掘出用户兴趣点这一完整流程为例,详尽解释 MapReduce 模型的对应实现,涵盖 MapReduce 编程中对于特殊问题的处理技巧,比如机器学习算法、排序算法、索引机制、连接机制等。本文转载 2013-10-31 20:40:15 · 1013 阅读 · 0 评论 -
mysql sql语句执行时间查询
第一种:开启profile1 mysql> set profiling=1;2 Query OK, 0 rows affected (0.00 sec)eg:1 mysql> select * from test_1;2 mysql> show profiles;3 +----------+------------+----------原创 2013-11-15 10:27:09 · 715 阅读 · 0 评论 -
海量数据处理:十道面试题与十个海量数据处理方法总结
作者:July、youwang、yanxionglu。时间:二零一一年三月二十六日本文之总结:教你如何迅速秒杀掉:99%的海量数据处理面试题。有任何问题,欢迎随时交流、指正。出处:http://blog.csdn.net/v_JULY_v。 第一部分、十道海量数据处理面试题1、海量日志数据,提取出某日访问百度次数最多的那个IP。 首先是这一天,并且是访转载 2014-06-10 14:17:15 · 397 阅读 · 0 评论