美团外卖全国各类商户数据167万(2018年10月份采集更新)

本文原创作者:鲲之鹏

本文原始链接:http://www.site-digger.com/html/articles

 

数据说明:
美团外卖全国各类外卖商户数据,共计167.1万余条。

更新时间:
2018年10月更新。

详细字段说明:
“province” – 省份
“city” – 城市
“shop_name” – 店铺名称
“address” – 店铺地址
“category” – 大分类
“third_category” – 小分类
“phones” – 电话号码
“score” – 店铺评分
“min_price” – 起送价
“month_sales” – 月售
“shipping_fee” – 配送费
“per_cost” – 人均消费
“delivery_time” – 配送时间
“delivery_tip” – 配送服务信息
“pic_url” – 店铺图片
“qualification” – 营业执照
“shiping_time” – 营业时间
“lat” – 纬度
“lng” – 经度
“comment_num” – 评论数

示例数据:
点击查看美团外卖商户在线示例数据

数据格式:
CSV(UTF-8编码)。

说明:该文章为鲲之鹏​原创文章 ,您除了可以发表评论外,还可以转载到别的网站,但是请保留源地址,谢谢!!(尊重他人劳动,我们共同努力)

转载于:https://www.cnblogs.com/xakzp/p/9981684.html

  • 3
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评估Hive任务所需的YARN资源需要考虑多个因素,包括数据量、数据处理方式、任务类型等等。给定数据量为5000,可以根据以下指标来初步估计所需的YARN资源: 1. Mapper数量:Mapper数量通常可以根据数据量进行估算,每个Mapper处理一定量的数据。假设每个Mapper处理100MB数据,则5000数据需要500个Mapper。 2. Reducer数量:如果需要进行聚合操作或者排序操作,则需要有Reducer来进行数据合并。根据经验,Reducer数量通常为Mapper数量的1/3到1/4。因此,500个Mapper需要125到167个Reducer。 3. Mapper内存:Mapper内存大小通常需要根据数据处理方式来进行估算。如果是简单的过滤、选择、投影等操作,每个Mapper需要的内存较小;如果是复杂的聚合、排序等操作,每个Mapper需要的内存较大。假设每个Mapper需要1GB的内存,则500个Mapper需要500GB的内存。 4. Reducer内存:Reducer内存大小通常需要根据聚合操作的复杂度来进行估算。如果聚合操作比较简单,每个Reducer需要的内存较小;如果聚合操作比较复杂,每个Reducer需要的内存较大。假设每个Reducer需要2GB的内存,则125到167个Reducer需要250到334GB的内存。 5. CPU资源:CPU资源的需求与数据处理方式和任务类型有关。如果是简单的过滤、选择、投影等操作,CPU资源的需求较小;如果是复杂的聚合、排序等操作,CPU资源的需求较大。假设每个Mapper和Reducer需要1个CPU核,则500个Mapper和125到167个Reducer需要625到667个CPU核。 需要注意的是,以上指标只是粗略估算,实际资源需求还需要根据具体情况进行调整。另外,如果集群中已经有其他任务在运行,需要考虑到资源的共享和竞争,也需要进行资源调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值