Python elasticsearch 导入json文件数据 + 将scrapy爬虫数据直接存入elasticsearch

最新推荐文章于 2021-10-15 10:19:00 发布
最新推荐文章于 2021-10-15 10:19:00 发布
阅读量2k 收藏 12
点赞数 1
分类专栏： elasticsearch学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yiyiholic/article/details/82706235
版权

1、json文件数据存入elasticsearch

  • json文件是从网上爬下来的数据

这里写图片描述

  • scrapy 保存的json格式数据默认Unicode格式编码，转utf-8 格式需要在settings里面加入一条：
FEED_EXPORT_ENCODING='utf-8'

2、 将scrapy爬虫数据直接存入elasticsearch

  • settings.py里面设置elasticsearch host

  • pipelines.py添加代码：
    这里写图片描述

  • 需要注意在settings.py开启 ITEM_PIPELINES选项

YEE_HOLIC
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python将json文件写入ES数据库的方法
01-01
1、安装Elasticsearch数据库 PS：在此之前需首先安装Java SE环境 下载elasticsearch-6.5.2版本，进入/elasticsearch-6.5.2/bin目录，双击执行elasticsearch.bat 打开浏览器输入http://localhost:9200 显示以下内容则...
scrapy elasticsearch 使用示例
weixin_43394129的博客
08-03 61
1.安装elasticsearch-dsl 包 pip3 install elasticsearch-dsl 2.创建scrapy 项目 　　在项目结构中创建一个models文件夹, 有二个py文件，一个是__init__.py空文件,一个es操作的es_cnblogs.py文件 　　 3. es_cnblogs.py文件代码如下　　 from datetime import dateti...
python 向 ElaticScrapy中批量插入数据
Mr 丶 Tian的博客
05-25 364
class ElaticSearchPipeline(object): def process_item(self, item, spider): es = Elasticsearch([{'host': '10.***.**.***', 'port': 9200}]) print item data = {
scrapy从数据获取到数据入库（有小技巧哟！）
xiaosongshupy的博客
09-26 2766
抓取目标网址：https://www.cn357.com/notice_300；https://www.cn357.com/notice_191 由于该网站没有设置反爬，所以直接干！ 需要抓取的数据： 以上是车辆信息列表 接下来是车辆详细信息： 抓取的信息包括所有车辆的详细信息和车辆的图片。 首先，建立好工程： 接下来我们在items里写好需要的数据项： impo...
scrapy+elasticsearch实现搜索引擎
airen的博客
04-08 1188
前言 很久之前就想实现一个小的搜索引擎供自己使用，一来代码量不大，二来也可以屏蔽一些广告。因此在春节期间，在同学提供前端的帮助下，一个小的搜索引擎系统就成型啦。做出来之后总体效果也符合我之前的预期，但引擎的核心部分取了巧，并不是自己去实现的权重排序，而是通过爬虫去抓取其他搜索引擎的结果，算是小小的遗憾，以后有机会自己在补上。 效果预览 先放几张效果图（需要代码的同学可以评论留下邮箱）： 主页 搜索页1 搜索页2 总体功能 共分为两个部分，主页和结果页 搜索框实现了搜索建议补全 关键词未命中es时
python 爬虫 将scrapy爬虫的数据下载的elasticsearch中
大壮
09-21 417
python 爬虫 将scrapy爬虫的数据下载的elasticsearch中
ElasticSearch 7.7导入json格式的要求
aben_sky的专栏
10-15 1048
在Kibaba导入文件到ES 7.7时, 支持以下三种格式: Delimited text files, such as CSV and TSV Newl...
python 将json数据批量导入Elasticsearch
野有蔓兮的博客
04-07 4880
python 将json数据批量导入Elasticsearch 下载好Elasticsearch-head插件 https://blog.csdn.net/weixin_41104835/article/details/89061225 下载elasticsearch第三方包 数据格式： test_json2es.txt {"name": "李华", "password": "12...
Python3导入少量Json文件到ElasticSearch 7.x
Han的博客
06-24 1668
Python3导入Json文件到ElasticSearch 7.x1、环境准备2、pip安装elasticsearch库3、Python脚本4、PS 1、环境准备 Python 3.x ES 7.x 2、pip安装elasticsearch库 在终端输入 pip install elasticsearch 安装 3、Python脚本 # -*- coding: utf-8 -*- import ...
elasticsearch学习与把爬取的数据保存到es中
qq_40916110的博客
05-08 3601
一，安装 直接在github找到elasticsearch-rtf，下载下来，解压 教程
Elasticsearch示例数据 shakespeare.json
03-14
Elasticsearch示例数据 shakespeare.json
mtianyanSearch:Word2vec 个性化搜索实现 +Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索
05-01
Word2vec 个性化搜索实现 +Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索 本仓库为搜索端网站端代码，爬虫端请前往 获取 可用功能: 知乎答案问题爬虫存入ElasticSearch 全文搜索(需结合网站端一起使用)，搜索词高亮标红 Redis实现的实时三站已爬取数目展示，热门搜索Top-5 word2vec改变ElasticSearch(function_score, script_score)评分， 比如历史上你搜索过Apple， 会使得Apple经过 Word2vec 计算出的苹果，乔布斯等关键词打分排名靠前 word2vec 模型训练全过程请查看FunpySpiderSearchEngine项目Word2VecModel 中README word2vec 使用，影响El
通过scrapy爬虫爬取数据，并存入elasticsearch后做的搜索引擎
02-24
功能特性 可以进行实时搜索 环境依赖 UNIX/LINUX scrapy 1.4.0 ...进入elasticsearch文件中的bin文件 在终端中输入： ./elasticsearch start 之后进入search文件后，在终端中输入： node index.js
python批量导入数据进Elasticsearch的实例
01-20
ES在之前的博客已有介绍，提供很多接口，本文介绍如何使用python批量导入。ES官网上有较多说明文档，仔细研究并结合搜索引擎应该不难使用。 先给代码 #coding=utf-8 from datetime import datetime from elastic...
python毕业设计-基于Django+Scrapy+ElasticSearch的全文搜索引擎系统设计与实现+使用说明.zip
最新发布
04-15
python毕业设计-基于Django+Scrapy+ElasticSearch的全文搜索引擎系统设计与实现+使用说明.zippython毕业设计-基于Django+Scrapy+ElasticSearch的全文搜索引擎系统设计与实现+使用说明.zip 【备注】 1、该资源内项目...
Python对ElasticSearch获取数据及操作
12-26
使用Python对ElasticSearch获取数据及操作，供大家参考，具体内容如下 Version Python ：2.7 ElasticSearch：6.3 代码： #!/usr/bin/env python # -*- coding: utf-8 -*- """ @Time : 2018/7/4 @Author : ...
Elasticsearch 学习之Field Collapsing（字段折叠）
热门推荐
YEE_HOLIC的博客
08-13 1万+
Field Collapsing（字段折叠）不能与scroll、rescore以及search after 结合使用 collapse字段：表示按照age（每个age对应多条document结果）的值折叠（keyword或者数值） sort：表示按照age字段排序 from：偏移，即前180个document的值都被折叠掉了 curl -XGET "http://localhost:9200...
Elasticsearch学习之 Search After 结果分页显示
YEE_HOLIC的博客
08-14 1万+
Search After 通过提供一个live cursor来规避消耗存储和时间的性能问题 通过上一页的结果帮助检索下一页 如下面这个示例，按照第一个检索到的最后显示的“balance”和‘_id’值，作为下一个检索search_after的参数 当使用search_after参数时，from的值必须被设为0或者-1 curl -XGET "http://localhost:9200/ban...
Logstash elasticsearch MySQL数据同步以及遇到问题解决
YEE_HOLIC的博客
09-03 3616
使用Logstash将MySQL数据同步到elasticsearch： input { stdin { } jdbc { jdbc_driver_library => "mysql-connector-java-5.1.46-bin.jar" jdbc_driver_class => "com.mysql.jdbc.Driv...
将Scrapy中爬取的数据存储到Elasticsearch中 使用elasticsearch-dsl
05-24
使用elasticsearch-dsl可以很方便地将Scrapy爬取的数据存储到Elasticsearch中。 首先，需要在Scrapy项目中安装elasticsearch-dsl： ``` pip install elasticsearch-dsl ``` 然后，在Scrapy项目的settings.py文件中添加以下代码： ``` ELASTICSEARCH_HOST = 'localhost' ELASTICSEARCH_PORT = 9200 ELASTICSEARCH_USERNAME = '' ELASTICSEARCH_PASSWORD = '' ELASTICSEARCH_INDEX = 'my_index' ELASTICSEARCH_TYPE = 'my_type' ``` 这里需要设置Elasticsearch的主机名、端口号、用户名、密码、索引名称和类型名称。 接下来，在Scrapy项目中的pipelines.py文件中编写以下代码： ``` from elasticsearch_dsl.connections import connections from elasticsearch_dsl import DocType, Text, Date, Integer from scrapy.utils.project import get_project_settings class MyItem(DocType): title = Text() content = Text() publish_date = Date() view_count = Integer() class Meta: index = get_project_settings().get('ELASTICSEARCH_INDEX') doc_type = get_project_settings().get('ELASTICSEARCH_TYPE') class ElasticsearchPipeline(object): def __init__(self): settings = get_project_settings() self.es = connections.create_connection( hosts=[{'host': settings.get('ELASTICSEARCH_HOST'), 'port': settings.get('ELASTICSEARCH_PORT')}], http_auth=(settings.get('ELASTICSEARCH_USERNAME'), settings.get('ELASTICSEARCH_PASSWORD')) ) def process_item(self, item, spider): my_item = MyItem(title=item['title'], content=item['content'], publish_date=item['publish_date'], view_count=item['view_count']) my_item.save(using=self.es) return item ``` 这里定义了一个MyItem类，包含了需要存储到Elasticsearch中的字段。ElasticsearchPipeline类则是对数据进行处理和存储的类，其中在初始化方法中连接Elasticsearch，将数据保存到Elasticsearch中的process_item方法中则是通过创建MyItem对象并调用save方法来完成的。 最后，在Scrapy项目中的settings.py文件中添加以下代码启用ElasticsearchPipeline： ``` ITEM_PIPELINES = { 'my_project.pipelines.ElasticsearchPipeline': 300, } ``` 这样，爬取到的数据就会自动存储到Elasticsearch中了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值