- 博客(13)
- 资源 (23)
- 收藏
- 关注
转载 超越算法来看待个性化推荐
一提到个性化推荐,大家一般会想到协同过滤、文本相似等推荐算法,或是更高阶的模型推荐算法,百度的张栋说过,推荐40%取决于UI、30%取决于数据、20%取决于背景知识,虽然本人不是很认同这种比例,但推荐系统中,推荐算法起的作用起的作用是非常有限的。 就像任何数据挖掘应用一样,算法不是起决定作用的,背景知识、数据很重要。通过算法或数学模型来描述和解决问题,我觉得是工科或者理科背景同学
2013-08-27 13:15:29 2014 1
转载 实时个性化推荐系统简述
传统的个性化推荐系统,都是定期对数据进行分析,然后对模型进行更新,进而利用新的模型进行个性化推荐。由于是定期更新模型的,推荐模型无法保持实时性,推荐的结果可能不会非常精准。例如网易云音乐的用户,假如用户这会儿无意中听到了一种曲风,觉得这种曲风很好听,连续听了好几首这样子的歌曲。如果我们的推荐系统没有做到实时性,那么给用户推荐的依然是他过去爱听的,无法立即推荐给用户他刚刚听的那些歌的曲风,这
2013-08-27 09:54:54 9181
转载 数据预处理
现实世界中数据大体上都是不完整,不一致的脏数据,无法直接进行数据挖掘,或挖掘结果差强人意。为了提前数据挖掘的质量产生了数据预处理技术。 数据预处理有多种方法:数据清理,数据集成,数据变换,数据归约等。这些数据处理技术在数据挖掘之前使用,大大提高了数据挖掘模式的质量,降低实际挖掘所需要的时间。 一、数据清理 首先是处理空缺值,如:要分析某市场的销售和顾客数据,但顾客的income项
2013-08-16 15:11:40 1730
转载 HDFS命令行操作
启动后可通过命令行使用hadoop。(1)所有命令 (先将$HADOOP_HOME/bin加入到.bashrc的$PATH变量中)[html] view plaincopy[hadoop@node14 hadoop-0.21.0]$ ll $HADOOP_HOME/bin total 88 -rwxr-xr-x 1 had
2013-08-15 15:04:33 1279
转载 Hive内表和外表的区别
本文以例子的形式介绍一下Hive内表和外表的区别。例子共有4个:不带分区的内表、带分区的内表、不带分区的外表、带分区的外表。1 不带分区的内表#创建表create table innerTable(id int,name string) row format delimited fields terminated by ‘|’;(show tables发现没有innerTa
2013-08-14 16:48:55 7324
转载 hive中简单介绍分区表
本帖最后由 liujiannan047 于 2011-9-20 09:34 编辑所介绍内容基本上是翻译官方文档,比较肤浅,如有错误,请指正!hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段,而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。下面的语句创建了一个简单的分区表:
2013-08-14 16:43:47 1495
转载 对现有Hive的大表进行动态分区
分区是在处理大型事实表时常用的方法。分区的好处在于缩小查询扫描范围,从而提高速度。分区分为两种:静态分区static partition和动态分区dynamic partition。静态分区和动态分区的区别在于导入数据时,是手动输入分区名称,还是通过数据来判断数据分区。对于大数据批量导入来说,显然采用动态分区更为简单方便。- 对现存hive表的分区首先,新建一张我们需要的分区以后的
2013-08-14 15:48:41 3823
转载 Hive表分区
必须在表定义时创建partitiona、单分区建表语句:create table day_table (id int, content string) partitioned by (dt string);单分区表,按天分区,在表结构中存在id,content,dt三列。以dt为文件夹区分b、 双分区建表语句:create table day_hour_table (id
2013-08-14 15:34:44 48588 1
原创 Hive常用的SQL命令操作
创建表hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段dshive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表hive> SHOW TABLES;按正条件(正则表达式)显示
2013-08-13 15:14:35 1825
原创 Hadoop分布式安装
一、安装准备 1、下载hadoop,地址:http://hadoop.apache.org/,下载相应版本 2、下载JDK版本:Hadoop只支持1.6以上,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 3、操作系统:Linux
2013-08-13 15:01:12 816
原创 Hadoop命令摘录
一:文件操作1、建立目录[hadoop@hadoop1:hadoop]$bin/hadoop dfs -mkdir testdir在HDFS中建立一个名为testdir的目录2、上传文件到HDFS[hadoop@hadoop1:hadoop]$bin/hadoop dfs -put /home/hadoop/test.zip testfile.zip把本地文件large.z
2013-08-13 14:39:27 779
原创 HDFS基本知识整理
设计理念: 1、超大文件 2、流式数据访问 3、商用普通硬件不适合场景: 1、低时间延迟的数据访问 2、大量的小文件 3、多用户写入,任意修改文件一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最
2013-08-13 14:29:56 1586
原创 Hive基本命令整理
创建表:hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string创建一个新表,结构与其他一样hive> create table n
2013-08-13 14:10:36 4405
jquery-pager-1.0
2011-10-13
Google+map+API php
2010-12-18
大道PHP 第23章 PHP 5与MySQL的结合应用.doc
2010-06-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人