推荐系统实战-出租公寓项目1-数据特征工程

本系列作品尽量不涉及到高深的数学公式,一切以实际工作为主,以实际工作中遇到的问题及解决问题的思路为主。所有代码均已提交到github上,供读者参考。

github:https://github.com/worry1613/gongyu-recommend

出租公寓项目是笔者2016年的项目,出租公寓的数据全部来自58同城品牌公寓馆,爬虫代码我就不发上来了,我手下的小孩写的,事先沟通不细,所以原始数据格式真是惨不忍睹啊。

出租公寓推荐系统1-特征工程

抓回来的原始数据格式很不好,mysql表结构如下

浏览内容如下

可以看到不算是数字的还是文字的内容,保存下来全部都是字符格式的,这不行,不管内容是文字,数字,图片,声音,视频或者其它什么格式,数据特征必须是可量化的可计算的数值。

接下来要进行特征选择,用哪些特征(或属性)来表示一个出租公寓的信息。仔细看一下就能很容易的分析出来,title字段是在网页上显示信息的,内容是多个其它字段的组合,特征中去掉 title字段。pay_unit内容全部一样,有和没有一样,特征中去掉 pay_unit字段特征中去掉phone字段,无意义字段。overage字段(剩作房间数),本项目 不涉及到在线订房功能,本字段信息无效,特征中去掉 overage字段。images字段是图片信息,本项目不涉及图片识别功能,无法把图片信息量化成数字,所以放弃,特征中去掉 images字段

到此为止,我们完成了最基础的工作,把数据中一些无用无意义的字段信息去掉了,留下来的都是要用到的。

大部分的数据特征都是比较明显的,例如:单价,楼层,区域,也有一些数据特征不太明显,需要多个特征计算得来或者更复杂,例发:增长率,激活率等等,找到越多的有效的数据特征,那就能更详细的描述这个物品,能不能找到更多的特征,是看你对业务是不是足够的了解,了解的越深,就能找到越多的数据特征。

接下来,要把字些数据特征转换成可量化的数字。苦活,累活(脏活)开始了。

flats_name公寓名字,理论上是可以用NLP来处理,TFIDF来算一下权重,但数据查看后,公寓的名字都很独立,不做处理,放弃。

flats_property内容只有‘合租’,‘整租’这两种情况,枚举类型,例如:1-男,2-女。换成数字表示1-合租,2-整租。数字可以是任意的,30,100,999都可以,只要区别开就行。

city,area,place字段和flats_property字段情况一样,枚举类型,数字表示即可。

price_start和price_end字段是数字,不用处理。

tag,house_config,service这3个字段是一种类型,多选类型,处理这种信息有2种办法,一种是用NLP的方式来处理,TFIDF比较,就相当于已经分好词的文字内容;另一种方式就是分散化处理,每个关键词内容变成一个新数据特征,用数字来表示它的意义,例发:新加一个字段house_chuang来表示house_config中是否有‘床’,0表示没有,1表示有,包含‘床’的数据house_chuang是1,不包含的是0。

update_time时间格式变成时间戳即可,例如:1521183472。

house_area取出平米数即可,不要后面的单位。

room和floor情况类型,同tag情况差不多,我们把room拆成3个新的特征,室,厅,卫,floor拆成2个特征公寓所在楼层,和总楼层。

traffic因为爬虫的原因,没有处理好,放弃。

house_detail要保留,虽然 我不认为这个对想租公寓的人有什么用,但还是要保存,用TFIDF来处理。

map_info中最重要的要把经纬度取出来保留,其它的就不需要了。注意精度。

deposit和room类似,全是有很多空数据,默认改成‘押一付三’,之后处理方式和room相同。

基本上是处理完成了,最后的数据格式是这样的

`_id` bigint(20) NOT NULL AUTO_INCREMENT,
  `price_start` smallint(6) unsigned NOT NULL COMMENT '租金下限',
  `price_end` smallint(6) unsigned NOT NULL COMMENT '租金上限',
  `house_area` smallint(5) unsigned NOT NULL COMMENT '房屋面积',
  `flats_property_i` tinyint(4) unsigned NOT NULL COMMENT '公寓性质(1,合租、2,整租) ',
  `city_i` tinyint(4) unsigned NOT NULL COMMENT '城市',
  `area_i` smallint(5) unsigned NOT NULL COMMENT '所在区域(朝阳区、丰台区',
  `place_i` smallint(5) unsigned NOT NULL COMMENT '所在地(朝阳公园、国贸 ',
  `shi` tinyint(3) unsigned NOT NULL COMMENT '几室',
  `ting` tinyint(3) unsigned NOT NULL COMMENT '几厅',
  `wei` tinyint(3) unsigned NOT NULL COMMENT '几卫',
  `floor_i` tinyint(3) unsigned NOT NULL COMMENT '总楼层',
  `floor_zhu_i` tinyint(3) unsigned NOT NULL COMMENT '当前楼层',
  `loc` point DEFAULT NULL COMMENT '经纬度(纬,经)',
  `deposit_ya` tinyint(3) unsigned NOT NULL COMMENT '房租押金',
  `deposit_pay` tinyint(3) unsigned NOT NULL COMMENT '交几个月的房租',
  `s_jsf` tinyint(1) NOT NULL DEFAULT '0' COMMENT '健身房',
  `s_gycs` tinyint(1) NOT NULL DEFAULT '0' COMMENT '公寓超市 ',
  `s_znms` tinyint(1) NOT NULL DEFAULT '0' COMMENT '智能门锁 ',
  `s_atm` tinyint(1) NOT NULL DEFAULT '0' COMMENT 'ATM机 ',
  `s_dskd` tinyint(1) NOT NULL DEFAULT '0' COMMENT '代收快递',
  `s_zskf` tinyint(1) NOT NULL DEFAULT '0' COMMENT ' 专属客服',
  `s_fjqj` tinyint(1) NOT NULL DEFAULT '0' COMMENT ' 房间清洁',
  `s_24hba` tinyint(1) NOT NULL DEFAULT '0' COMMENT '24H安保 ',
  `s_bjwx` tinyint(1) NOT NULL DEFAULT '0' COMMENT '保洁维修 ',
  `s_sqhd` tinyint(1) NOT NULL COMMENT '社区活动',
  `c_chuang` tinyint(1) NOT NULL DEFAULT '0' COMMENT '床 ',
  `c_yigui` tinyint(1) NOT NULL DEFAULT '0' COMMENT '衣柜 ',
  `c_shuzhuo` tinyint(1) NOT NULL DEFAULT '0' COMMENT '书桌 ',
  `c_kongtiao` tinyint(1) NOT NULL DEFAULT '0' COMMENT '空调 ',
  `c_canzhuo` tinyint(1) NOT NULL DEFAULT '0' COMMENT '餐桌 ',
  `c_nuanqi` tinyint(1) NOT NULL DEFAULT '0' COMMENT '暖气 ',
  `c_tv` tinyint(1) NOT NULL DEFAULT '0' COMMENT '电视机 ',
  `c_ranqi` tinyint(1) NOT NULL DEFAULT '0' COMMENT '燃气 ',
  `c_wbl` tinyint(1) NOT NULL DEFAULT '0' COMMENT '微波炉 ',
  `c_dcl` tinyint(1) NOT NULL DEFAULT '0' COMMENT '电磁炉 ',
  `c_rsq` tinyint(1) NOT NULL DEFAULT '0' COMMENT '热水器 ',
  `c_xyj` tinyint(1) NOT NULL DEFAULT '0' COMMENT '洗衣机 ',
  `c_bx` tinyint(1) NOT NULL DEFAULT '0' COMMENT '冰箱 ',
  `c_wifi` tinyint(1) NOT NULL DEFAULT '0' COMMENT 'WIFI ',
  `c_sf` tinyint(1) NOT NULL DEFAULT '0' COMMENT '沙发 ',
  `c_cg` tinyint(1) NOT NULL DEFAULT '0' COMMENT '橱柜 ',
  `c_yyj` tinyint(1) NOT NULL DEFAULT '0' COMMENT '油烟机',

数据看上去是这样子的,应该全部都是数字


具体的格式我会直接上传到github上。

在data目录下我已经把数据导入成了一个csv文件,gongyu.1.csv,可以直接操作这个文件来处理了。

还有重要的一步没有做,那就是数据标准化(归一化),如果要计算公寓的相似性,就必须要进行这一步操作,不然相似性计算不准确。代码很简单,在jupyter notebook上都有。

import pandas as pd
out=pd.read_csv('./data/gongyu.1.csv',index_col = '_id')

del out['update_time_i']

from sklearn import preprocessing
min_max_scaler = preprocessing.MinMaxScaler()
out_train_minmax = min_max_scaler.fit_transform(out)

到这里我们前期的处理算是完成了。

下一篇马上就来了,敬请期待.......

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值