PURSUE ONE PIECE

学历代表过去,财力代表现在,学习力代表将来,所见所闻改变一生,不知不觉断送一生。...

Docker学习笔记-Kafka集群搭建

Linux版本:Ubuntu 16.04.2 LTS Docker版本:Docker version 17.09.0-ce, build afdb6d4 Docker Compose版本:docker-compose version 1.22.0, build f46880fe JDK版本:...

2019-07-19 21:03:13

阅读数 2

评论数 0

Docker学习笔记-Zookeeper集群搭建

Linux版本:Ubuntu 16.04.2 LTS Docker版本:Docker version 17.09.0-ce, build afdb6d4 Docker Compose版本:docker-compose version 1.22.0, build f46880fe JDK版本:...

2019-07-19 14:35:22

阅读数 3

评论数 0

学习笔记-行政区划匹配缺失补全

简单实现功能,存在缺陷后续在处理 实现代码如下 # -*- coding:utf-8 -*- import os import sys import enum from maximum_matching_2 import MaximumMatching default_encoding ...

2019-06-22 20:31:12

阅读数 24

评论数 0

学习笔记-文本最大匹配分词

数组结构词典扫描匹配 # -*- coding:utf-8 -*- import os import sys default_encoding = 'utf-8' if sys.getdefaultencoding() != default_encoding: reload(sys...

2019-06-14 13:51:46

阅读数 37

评论数 0

Python学习笔记-遍历URL链接文件多线程下载

功能代码记录: # -*- coding:utf-8 -*- import os import sys import time import urllib import Queue import random import requests import threading import t...

2019-04-17 18:33:24

阅读数 89

评论数 0

爬虫学习笔记-部分网站记录

Twitter # -*- coding:utf-8 -*- import os import sys import json import time import datetime import xlsxwriter from utils.twitter_client import Cl...

2019-04-01 16:10:09

阅读数 57

评论数 0

Redis学习笔记-RedisCluster安装部署和API使用

1、Ruby安装 $tar -xzvf ruby-2.2.4.tar.gz $./configure $make $make install   2、Redis安装 $tar -zxvf redis-3.2.3.tar.gz $make &&...

2018-10-12 12:11:14

阅读数 111

评论数 1

学习笔记-日志文件采集分析简单实例

流程简述:Nginx生成的访问日志文件通过Filebeat采集输入到Kafka中,Kafka中数据流入Logstash,Logstash处理过滤数据。一个出口直接写到ElasticSearch,提供Kibana进行日志分析可视化处理;一个出口直接写到HDFS,提供后期离线统计分析处理;一个出口写入...

2018-08-23 17:38:27

阅读数 376

评论数 0

ElasticSearch学习笔记-常用操作记录

集群相关配置查看相关信息curl -XGET 'http://192.168.0.1:9200/_cat/health?v'curl -XGET 'http://192.168.0.1:9200/_cat/nodes?v'curl -XGET 'http://192.168.0.1:9200/_c...

2018-02-09 14:30:16

阅读数 421

评论数 0

ElasticSearch学习笔记-相关度得分记录

最近想要修改调整一下ElasticSearch里面Doc的Score,于是在ES官网查阅了一下,相关的介绍和说明还是非常详细的,可以参考连接: https://www.elastic.co/guide/cn/elasticsearch/guide/current/controlling-relev...

2017-09-26 20:47:59

阅读数 1136

评论数 0

Titan学习笔记-API操作记录

了解并学习一下Titan相关的JAVA API操作,以QQ、QQ群关系作为一个示例,记录相关API的使用和操作。 Titan官方的Document还是很好用,解释和说明都非常的详细,遇到相关问题可以随时参考。 http://s3.thinkaurelius.com/docs/titan/0.9.0...

2017-09-26 19:48:50

阅读数 908

评论数 0

ElasticSearch学习笔记-同义词记录

同义词扩大了一个匹配文件的范围。正如词干提取或者部分匹配,同义词的字段不应该被单独使用,而应该与一个针对主字段的查询操作一起使用,这个主字段应该包含纯净格式的原始文本。 第一种实现方式: 同义词可以取代现有的语汇单元或 通过使用同义词语汇单元过滤器,添加到语汇单元流中。首先,我们定义了一个同义词...

2017-09-02 14:37:42

阅读数 1408

评论数 4

SpringBoot学习笔记-集成其他组件框架记录

最近利用空闲时间看了一下SpringBoot相关的知识,网上的资料文档还是比较丰富,比较全面的,在此就不做文字记录了。自己也动手写了一些测试实例,集成了一些常用的组件框架,如Mybatis、Redis、Rabbitmq、Kafka、Quartz、Swagger、ElasticSearch、OAut...

2017-06-10 19:00:54

阅读数 1166

评论数 0

JStorm学习笔记-基于Kafka、ElasticSearch、HBase简单实例

相关依赖如下: 2.7.2 1.2.3 0.10.0.0 2.2.1 5.3.0 org.apache.hbase hbase-common ${hbase.version} ...

2017-05-12 15:28:49

阅读数 2717

评论数 0

JStorm学习笔记-集群环境安装部署

安装版本如下: jstorm-2.2.1 zookeeper-3.4.10 zeromq-4.1.5 启动zookeeper的集群服务 修改配置文件conf/storm.yaml内容 ########### These MUST be filled in for a storm co...

2017-05-12 15:04:39

阅读数 525

评论数 0

Tez学习笔记-UI安装部署

相关版本 tez使用版本:tez-0.8.4.tar.gz tomcat使用版本:tomcat-8.0.36.tar.gz hadoop使用版本:hadoop-2.7.2.tar.gz 修改HADOOP配置文件yarn-site.xml,添加以下内容 yarn.timeline-ser...

2017-01-22 15:33:33

阅读数 1608

评论数 1

Tez学习笔记-初识

Apache Tez是一个针对Hadoop数据处理应用程序的新分布式执行框架。Tez是Apache最新的支持DAG作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Tez并不直接面向最终用户——事实上它允许开发者为最终用户构建性能更快、扩展性更好的应用程序。H...

2017-01-21 15:42:38

阅读数 5537

评论数 0

ElasticSearch学习笔记-JavaAPI操作记录

客户端连接代码: ElasticSearch版本:2.4.x private void initClient() { Settings settings = Settings.builder().put("cluster.name", &quo...

2016-11-04 14:48:05

阅读数 2371

评论数 0

爬虫学习笔记-WebMagic初识

WebMagic是一款基于Java开源的简单灵活的爬虫框架,使用起来非常简单,与Scrapy爬虫框架很相似,WebMagic的原理与使用官方有详细的说明,这里就不再陈述,直接上实例。使用说明链接地址: http://webmagic.io/docs/zh/ us.codecr...

2016-10-29 01:50:09

阅读数 1387

评论数 3

爬虫学习笔记-Scrapy散记

一、Selenium模拟浏览器爬取界面 def selenium_crawl_goubanjia_proxy_ip(): parent_dir = os.path.dirname(__file__) current_operation_system = platform.sys...

2016-10-29 01:20:03

阅读数 690

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭