![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Elasticsearch
文章平均质量分 89
ikiler
这个作者很懒,什么都没留下…
展开
-
简单Elasticsearch实战(五)利用kabana做简单数据分析
kibana是个好东西。创建索引模式所谓创建索引模式,就是kibana通过一定的规则(正则匹配)去筛选你想要的索引然后数据分析。例如下图,选择创建索引模式,匹配规则为job*,这样所有job开头的索引都会匹配进来。可视化图表成功创建索引模式后,就可以直接利用kibana创建图表啦例如我们在可视化里面创建柱形图,地区筛选选择北京,筛选字段选择salary,指标选择计数,就可以得到一份平均工资排名啦。同样的道理,我们还可以利用kibana通过招聘标签创建云图这些个性化定制可以保存,.原创 2020-05-24 23:33:04 · 933 阅读 · 0 评论 -
简单Elasticsearch实战(四)数据清洗后,从mysql导入Elasticsearch
本文只是简单做个例子,少量数据从mysql导入es还可以,大量数据的话还是建议专业工具来做,或者优化一下,改为多线程数据清洗首先,我们看一下,之前获取到的数据都是这样的,很不规范,而且有很多空值,残缺值,这就需要我们二次处理一下了。首先我在Mysql.py加一条函数这里我们使用pymysql的SSCursor来获取数据,这样做的好处是,他不会一次性把全部数据读出来,造成大量内存占用。对数据库数据多的情况下很有用。import pymysqlfrom common.Logger impor原创 2020-05-24 23:32:40 · 1115 阅读 · 0 评论 -
简单Elasticsearch实战(三)python连接Elasticsearch
ok,现在原数据有了,下一步就是清洗数据到ES上面了,不过在这之前我们先看一下python如何连接elasticsearch和索引如何建立。连接至ES这里我们使用elasticsearch_dsl库来进行连接pip install elasticsearch_dsl安装完库之后导入from elasticsearch_dsl import Document, Date, Text, Keyword, InnerDoc, Object, connections创建连接还是很方便的,就一行代原创 2020-05-24 23:32:00 · 2318 阅读 · 0 评论 -
简单Elasticsearch实战(二)python爬取招聘网站信息
有句话叫没枪没炮,敌人给我们造嘛,咱们个人学习肯定没有那么多数据嘛,怎么办,就从有数据的地方借点过来呗(嘿嘿!)所谓爬虫,就是把别的网站信息下载下来,经过筛选获得信息,虽然过程复杂,但跟着函数一步一步来也不难主要就用了两个库requestsBeautifulSoup一个用于获取网页,一个用于解析网页分析首先我们看一下页面的主体(为了简单,我们直接访问移动端页面)页面主要可获取信息为招聘职位地址工资时间body里面每一个div就是一条数据,逻辑还是很简单的,当然,仅仅这原创 2020-05-24 23:31:42 · 892 阅读 · 0 评论 -
简单Elasticsearch实战(一)介绍
介绍啰嗦最近开始学习ETL,顺便做一下笔记,也正好最近想要了解一下大数据方面的工作,学的再多不如实际操作一下,于是便萌生了一个招聘职业分析的想法。本文都是一些简单的实战演练,算是一篇入门文章吧,仅供学习参考(其实是怕自己忘了写个笔记······)Elasticsearch介绍Elasticsearch 是一个分布式的开源搜索和分析引擎,适用于所有类型的数据,包括文本、数字、地理空间、结构化和非结构化数据。Elasticsearch 在 Apache Lucene 的基础上开发而成,由 Ela原创 2020-05-24 23:31:11 · 1943 阅读 · 0 评论