京东手机电商大数据统计平台搭建


注意!注意!注意!
这是一个课程设计项目,项目只有一个版本且不会维护!不能保证爬虫脚本永久有效。
我的项目结构跟老师安排的项目结构有很大的不同,请慎重选择使用我的项目代码和虚拟机,我使用了腾讯云mysql和腾讯云图(数据展示工具),老师使用的是虚拟机的mysql和superset(数据展示工具)。

一、虚拟机搭建

1.下载虚拟机

链接:百度网盘,点击下载
提取码:1234

2.解压虚拟机

在这里插入图片描述

3.VMware扫描添加虚拟机

(1)注意:我提供的虚拟机需要VMware Workstation 15以上才能打开,请注意版本!!!
在这里插入图片描述
(2)选择解压的上级目录进行扫描
在这里插入图片描述
(3)一直点下一步

(4)启动虚拟机
注意:如果在打开nd12和nd13时出现找不到nd11.vmdk或nd11.vmx的情况,你需要点击浏览,在nd11的那个文件夹里找到相应的文件选中即可。出现这种情况的原因是我的nd12和nd13不是完整的虚拟机,是通过nd11的快照克隆的,没有nd11的磁盘文件,那nd12和nd13都无法运行。

4.虚拟机网络说明

(1)三台虚拟机使用NAT模式,下图为我VMware的NAT模式虚拟网卡的设置。
在这里插入图片描述
在这里插入图片描述
(2)三台虚拟机网络均为固定IP
nd11:192.168.137.121
nd12:192.168.137.122
nd13:192.168.137.123

PS:我把主机hosts修改了,这样主机连接虚拟机时就不用输一大长串数字了

(3)三台虚拟机已经互相保存公钥秘钥,可以实现SSH免密码登录。

5.虚拟机已安装软件和框架说明

所有软件和框架都安装在/opt目录下
(1)nd11安装了:apache-hive-1.2.2、hadoop-2.7.7、hbase-1.3.6、jdk1.8.0_241、kafka_2.10-0.10.0.1、spark-2.1.3-bin-hadoop2.7、sqoop-1.4.7.bin__hadoop-2.6.0、zookeeper-3.5.4-beta

(2)nd12安装了:hadoop-2.7.7、hbase-1.3.6、jdk1.8.0_241、kafka_2.10-0.10.0.1、spark-2.1.3-bin-hadoop2.7、zookeeper-3.5.4-beta

(3)nd13安装情况同nd12一样

(4)其中各软件的具体配置信息(例如namenode、datanode等)请自行查看框架中的XML配置文件。

(5)这三台虚拟机历史悠久,最早可追溯到上Hadoop课程的时候,经历过Spark课程、Hbase课程,所以有很多软件和框架在本项目可能会用不到,如果嫌占地方可以rm -rf

(6)如果你需要其他软件和框架,请自行安装。提示:你可以在/opt/env.sh下配置HOME和PATH信息
在这里插入图片描述
(7)本项目只使用了Kafka和HDFS,Spark使用的是以主机本地模式运行的,如果你想在虚拟机里运行Spark,需要在虚拟机里安装scala并打开spark集群的相应监视端口,具体方法请自行查看spark官网说明。
(By the way,kafka仅是因为练习原因强行加入,在实际生产中,京东手机商品信息这么点数据量根本用不到kafka,hdfs已经很完美了,kafka常用于流式计算,而不是批处理。。。)

二、核心代码

点击进入代码仓库,其中包含核心代码、实验报告和完整的IDEA项目文件。

三、数据展示环境搭建

我的数据展示跟老师的数据展示方式不同,慎用!!!我使用腾讯云图进行展示,腾讯云图要求使用腾讯云数据库或者是有公网IP的数据库

1.在腾讯云上购买腾讯云图服务

价格很便宜,基础版19元/年。腾讯云的MySQL也挺便宜的,使用学生特权,基础版实例才39元/年。如果你只是为了临时通过老师的检查,没有其他项目需求,你可以直接使用腾讯云新人权益来白嫖一周的使用权。
腾讯云MySQL和腾讯云图价格:
在这里插入图片描述
新人可以免费试用很多产品,其中包括数据库和腾讯云图:
在这里插入图片描述
你甚至可以白嫖腾讯云一个月的CKafka,用来代替你虚拟机里的Kafka。。。

2.新建云图

(1)新建一个云图
在这里插入图片描述

(2)选择画布模班(这里用空白模板做示例)
在这里插入图片描述
(3)点击创建,起个名称,选择分组(不是必要的)。
在这里插入图片描述

(4)点击帮助,有产品简介和用户指南,写的很详细

(5)最后就请开始你的表演,自己设计一个好看的数据展示大屏就行了,最后别忘了发布,这样所有人就可以通过链接看到你的大屏展示了,例如点击这个链接就可以跳转到我的大屏展示。

  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

达娃里氏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值