课程作业的简单记录。
环境说明:
- 操作系统:windows 10
- Jdk:java 11
- Elasticsearch 7.16.0
- 谷歌浏览器:97.0.4692.71(正式版本) (64 位)
一、目标:
1、淘宝抓取商品信息
2、利用抓取的信息搭建搜索引擎
二、设计方案
1、爬虫:如下,提取淘宝网页中的商品文本信息:包括商品标题['title'],价格['price'],付款人数['nums'],店铺名称['name'],店铺地址['address'],保存到csv文件中
2、本地搭建实验环境,安装ES,ElasticSearch-head插件,grunt,node环境。
参考链接:
Elasticsearch安装教程_smile in spring的博客-CSDN博客_elasticsearch安装教程
windows环境下elasticsearch安装教程(超详细) - hualess - 博客园
-
启动ES,在浏览器输入:http://localhost:9200,
-
启动head插件:进入head文件夹下,执行grunt server
- 浏览器访问 http://localhost:9100
3、基于python实现Elasticsearch的索引建立和数据上传
参考:基于python的Elasticsearch索引的建立和数据的上传 - zxNoral - 博客园
Python 操作 ElasticSearch - shaomine - 博客园
python 爬虫 上传elasticSearch (包括日期) - 刘莹小西瓜 - 博客园
三、完整代码及数据
已上传网盘