- 博客(12)
- 资源 (19)
- 问答 (2)
- 收藏
- 关注
原创 Elasticsearch全文检索系统实现深入详解
题记学习ES的童鞋,都有一个开发一个类似百度的搜索引擎的想法。当然功能不一定是百度、360、谷歌传统的搜索引擎那么强大。但是,能实现基本的全文检索、指定类型的检索、评分高低优先级排序等等。那么问题来了,该如何实现?需要什么技术呢?1、效果图注:这张图是从网上down的,我已经实现了上述功能。 (不能截图,原因:你懂的!)2、前后端交互2.1 Elasticsearch服务端作为检索引擎,数据是
2017-07-23 17:05:31 16457 13
原创 Elasticsearch批量导入本地Json文件Java实现
产品开发需要,我们需要将互联网采集的数据存储到ES中,以实现数据的全文检索。互联网采集的数据,往往格式杂乱,需要先进行数据清洗操作。而ES支持的入库格式,json格式数据会相对方便些。本文主要介绍,如何将格式化的Json文件批量插入到ES中。1、需提前做的工作1)设计好索引以及Mapping;Mapping的目的主要是,设定字段名称、字段类型,哪些字段需要进行全文检索等。2)Java程序中封装好类,
2017-07-23 15:07:35 13194 2
原创 logstash一次同步Mysql多张表到ES深入详解
题记一次同步多张表是开发中的一般需求。之前研究了很久找到方法,但没有详细总结。 博友前天在线提问,说明这块理解的还不够透彻。 我整理下, 一是为了尽快解决博友问题, 二是加深记忆,便于未来产品开发中快速上手。1、同步原理原有ES专栏中有详解,不再赘述。详细请参考我的专栏: 深入详解Elasticsearch 以下是通过ES5.4.0, logstash5.4.1 验证成功。 可
2017-07-19 23:27:15 21859 32
原创 保持冷静、继续前行——《白说》读后感
题记618的时候,买了一些书,包括《四大名著》、《傅雷家书》、俞敏洪的书、技术书籍,还有这本白岩松的《白说》。早些年,白岩松的高校演讲听得比较多。他是央视仅存的、为数不多的敢说的主持人之一了。听他的演讲、读他的书主要是学习他分析问题、看待问题、思考问题、解决问题的角度、态度、方式和方法。翻开书之后,才知道这是白岩松职业生涯近20多年的演讲集。他和俞敏洪老师的书不一样的最大之处:书稿中的演讲部分已经做
2017-07-15 23:13:17 3407 2
原创 60天高效通过软考高级实战复习攻略(干货)
题记60天,对于上班族来说,只有晚上和周末时间,细算下,有效复习时间少得可怜。如果全力以赴且有一定计算机基础、项目管理经验的话,可以!否则,会比较难。软考信息系统项目管理工程师(信管高级)涉及9大知识管理体系,要理解记忆,没有捷径可走。题目多少有些“标题党”,我是第二次通过考试的。16年下成绩:56 52 36,17年上成绩:46 50 46。分数线还没出,如果过的话,也是压线。 2017-0
2017-07-13 23:38:30 45867 13
原创 Docker部署迁移实战
题记在docker初始环境部署时,宿主机设定docker存储位置为/var/lib/docker 路径,但我们都知道,/var挂载分区往往就很小的空间,如50GB。 随着业务量的增加,docker部署数量增多,会有很大的磁盘占用,慢慢/var/lib/docker就很容易占满了。 此时,对docker存储进行迁移势在必行!1、修改镜像和容器的存放路径在Docker服务配置文件/etc/sysco
2017-07-13 22:56:53 3039 2
原创 Docker常见操作实战
题记:docker环境部署的时候,有过运行失败及网络不可用等各种问题,以下命令都是摸索出来的。0、获取镜像文件docker pull cnetos:6.71、查看运行和停止状态的容器docker ps -a[root@ng3 lib]# docker ps -aCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMESa38800a3ed82 c
2017-07-13 22:48:38 1313
原创 centos6.8 安装python3/pip3/sqlite3步骤详解
题记项目的需要需要在python3下部署环境,且不能破坏python2的正常业务运行。 当安装sqlite3的时候,出现过各种异常。网上排查了很久。 记录下来,避免下次犯同样的错误。1、安装python3安装版本:Python-3.5.0步骤1: 准备编译环境yum groupinstall 'Development Tools'yum install zlib-devel bzip2-dev
2017-07-13 22:40:50 8886
原创 相信积累的力量——《把时间当作朋友》读后感
1、题记最早知道李笑来老师,是在刘伟鹏《暗时间》的知识理论体系里面。知道他是新东方的老师,并且小有成就。后来在关注罗辑思维公众号的时候,推荐过李笑来的“学习、学习、再学习”的微信公众号的文章,读了以后感觉李笑来在践行理论、实践方面有很深入的理解。实践也证明,他是国内最早一批关注比特币并成为比特币首富的人,他是最早赶上知识付费IP的人( 他的”通向财富自由之路“的得到专栏是销量冠军;他自己推出了新生大
2017-07-09 19:47:49 3368 1
原创 《懒人Shell脚本》之九——批量格式转换脚本实现
1、需求:文档格式转换批量脚本实现。技术点1:文档分散在同一路径下。 技术点2:显示转换进度。 技术点3:每个转换输出到文档同名的指定文件夹下。 前提:单个格式转换已经验证ok。2、脚本实现[root@0ec6 testxx]# cat bulk_converts.sh#!/bin/shCONTENT_FILE=./rst.txticnt=0itotalCnt=`cat ./rst.tx
2017-07-09 14:32:04 2964
原创 Elasticsearch实战——全文检索架构设计
1、题记近几年,Elasticsearch(以下简称ES)作为开源的搜索引擎已经在国内得到越来越多的应用推广,在日志分析领域应用场景尤为广泛。传统的数据库Mysql、Oracle或者非关系型数据库Mongo作为基础存储的企业要想实现业务数据的全文检索,该如何实现呢?本文给出架构设计和实现原理。2、理清楚使用ES的初衷2.1 大数据背景下数据量的积累与数据应用疲软矛盾一直存在。大数据的风已经刮了几年,
2017-07-02 09:22:13 13360 2
原创 Elasticsearch5.4.0 IK分词插件安装详解
1、ES5.4.0 IK分词安装步骤步骤1:下载最新版的ik插件地址:https://github.com/medcl/elasticsearch-analysis-ik步骤2:解压elasticsearch-analysis-ik-master.zipunzip elasticsearch-analysis-ik-master.zip步骤3:修改ES版本号。修改pom.xml,最新(201706
2017-07-02 09:11:58 5157 2
Windows下libevent C++封装类实现
2016-12-11
C++内部培训讲义
2016-08-07
libcurl.lib下载(32bit和64bit)
2015-09-17
MFC动态划线实现源码
2013-03-30
(可视化文件消息一体化收发Socket实现V0.1说明文档
2013-03-17
可视化文件消息一体化收发Socket实现V0.1
2013-03-17
Windows Sockets 规范及应用
2010-12-20
路由器交换机配置命令详解.doc
2010-04-18
C++ 笔试面试宝典2009版.doc
2010-04-18
? Kerberos认证相关问题思路请教:
2013-11-03
求samba下的rpcclient工具使用方法?
2013-09-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人