2017年08月_djph26741

转载 vim 按照字段排序文件

假设有如下数据，以空格为数据列分割：1 何维川 124.63 172 0.722 张子寅 99.67 172 0.583 周广滨 93.34 188 0.504 陈兴 41.86 188 0.225 薛永成 26.68 188 0.146 张永福 18.25 ...

2017-08-31 17:52:00 578

转载 ES shard unassigned的解决方法汇总

说下shard出现的几个状态说明：relocating_shardsshows the number of shards that are currently moving from one node to another node(现网中遇到，因为kill -9重启es的方法不对，导致node下线，集群重新分配shard).This number is often zero...

2017-08-31 17:44:00 583

转载 Reroute Unassigned Shards——遇到主shard 出现的解决方法就是重新路由

Red Cluster!摘自：http://blog.kiyanpro.com/2016/03/06/elasticsearch/reroute-unassigned-shards/There are 3 cluster states:green: All primary and replica shards are activeyellow: All primary...

2017-08-31 17:26:00 933

转载 Recovering unassigned shards on elasticsearch 2.x——副本shard可以设置replica为0在设置回来...

Recovering unassigned shards on elasticsearch 2.x摘自：https://z0z0.me/recovering-unassigned-shards-on-elasticsearch/I got accross the problem when decided to add a node to the elasticsearch clu...

2017-08-31 17:24:00 129

转载 How to resolve unassigned shards in Elasticsearch——写得非常好

How to resolve unassigned shards in Elasticsearch转自：https://www.datadoghq.com/blog/elasticsearch-unassigned-shards/In Elasticsearch, a healthy cluster is a balan...

2017-08-31 17:20:00 117

转载 ES 遇到 unassigned shard如何处理？

解决方法：（1）如果是红色的，可以直接分片shard给你认为有最新（或最多）数据的节点。见下：摘自：https://discuss.elastic.co/t/how-to-resolve-the-unassigned-shards/87635Use the reroute command to assign the unassigned shard to a node....

2017-08-31 15:50:00 532

转载 elasticsearch如何安全重启

elasticsearch如何安全重启节点问题：elasticsearch集群，有时候可能需要修改配置，增加硬盘，扩展内存等操作，需要对节点进行维护升级。但是业务不能停，如果直接kill掉节点，可能导致数据丢失。而且集群会认为该节点挂掉了，就开始转移数据，当重启之后，它又会恢复数据，如果你当前的数据量已经很大了，这是很耗费机器和网络资源的。stackoverf...

2017-08-31 15:10:00 352

转载 Elasticsearch yellow 意味着主分片可用，副本不可用

摘自：http://unasm.com/2016/11/644/在通过/_cluster/state 命令查看es 状态的时候，发现es 处于一个yellow的状态，这个很奇怪，按照官方的解释，就是所有主分片都是处于可用状态，但是有复制分片不可用。为什么有复制分片不可用呢？通过/_cat/shards 查看，发现有从分配处于一个未分配的状态，该命令该出的数据奇怪的地...

2017-08-31 14:44:00 278

转载 ElasticSearch Shard——本质上是做分布式扩展，副本对于集群的稳定性有很强的影响...

什么是一个Shard？Shard就是一个Lucene Index，参照文章(深入理解Shard和Lucene Index)。Index需要多少个Shard？回答这个问题，我们需要先谈谈节点，一个集群有多个节点，具体需要多少个节点合适，是另外一个问题，但是这个数字也会影响我们对Shard数的设置。Shard数＝ Node数？总体上说，当我们节点数和Shard数相...

2017-08-30 17:25:00 60

转载 ES设置查询的相似度算法

similarityElasticsearch allows you to configure a scoring algorithm orsimilarityper field. Thesimilaritysetting provides a simple way of choosing a similarity algorithm other than the de...

2017-08-30 10:43:00 1505

转载 ES不设置副本是非常脆弱的，整个文章告诉了你为什么

Delaying Shard AllocationAs discussed way back inScale Horizontally, Elasticsearch will automatically balance shards between your available nodes, both when new nodes are added and...

2017-08-28 16:40:00 289

转载集群版本升级——rolling upgrade在ES 单节点从 restart 到加入集群，大概要 100s 左右的时间。也就是说，这 100s 内，该节点上的所有分片都是 unassigned 状态...

集群版本升级Elasticsearch 作为一个新兴项目，版本更新非常快。而且每次版本更新都或多或少带有一些重要的性能优化、稳定性提升等特性。可以说，ES 集群的版本升级，是目前 ES 运维必然要做的一项工作。按照 ES 官方设计，有 restart upgrade 和 rolling upgrade 两种可选的升级方式。对于 1.0 版本以上的用户，推荐采用 rolling u...

2017-08-28 16:24:00 124

转载 ES跨版本升级？——难道升级集群发生shard allocation是因为要分配replica节点？？？...

Full cluster restart upgradeElasticsearch requires a full cluster restart when upgrading across major versions. Rolling upgrades are not supported across major versions. Consult thi...

2017-08-28 15:31:00 94

转载官方文档 Upgrading Elasticsearch

Upgrading ElasticsearchBefore upgrading Elasticsearch:Consult thebreaking changesdocs.Use theElasticsearch Migration Pluginto detect potential issues before upgrading....

2017-08-28 14:52:00 95

转载集群节点Elasticsearch升级

集群节点Elasticsearch升级操作流程1.首先执行Elasticsearch-1.2.2集群的索引数据备份2.关闭elasticsearch-1.2.2集群的recovery.compresscurl -XPUT "http://localhost:9200/_cluster/settings" -d' { ...

2017-08-28 14:47:00 69

转载 ES什么时候会平衡分片

"cluster.routing.allocation.balance.shard":"0.45f",//定义分配在该节点的分片数的因子阈值=因子*（当前节点的分片数-集群的总分片数/节点数，即每个节点的平均分片数） "cluster.routing.allocation.balance.index":"0.55f",//定义分配在该节点某个索引的分片数的因子，阈值=因子*（...

2017-08-28 14:28:00 167

转载 ElasticSearch 深入理解三：集群部署设计

ElasticSearch 深入理解三：集群部署设计ElasticSearch从名字中也可以知道，它的Elastic跟Search是同等重要的，甚至以Elastic为主要导向。 Elastic即可伸缩性，作为一个分布式的搜索引擎，可伸缩性是它的核心竞争力。Elastic&Shard这两个词能放在在一起，因为ES的Elastic是建立在Shard的基础上。Shard作...

2017-08-28 14:22:00 106

转载 pyspark kafka createDirectStream和createStream 区别

from pyspark.streaming.kafka import KafkaUtils kafkaStream = KafkaUtils.createStream(streamingContext, \ [ZK quorum], [consumer group id], [per-topic number of Kafka partitions to consu...

2017-08-28 11:32:00 330

转载 kafka 0.11 spark 2.11 streaming例子

""" Counts words in UTF8 encoded, '\n' delimited text received from the network every second. Usage: kafka_wordcount.py <zk> <topic> To run this on your local machine, you n...

2017-08-26 15:47:00 158

转载蜜罐技术——通过布置一些作为诱饵的主机、网络服务或者信息，诱使攻击方对它们实施攻击，从而可以对攻击行为进行捕获和分析...

蜜罐技术本质上是一种对攻击方进行欺骗的技术，通过布置一些作为诱饵的主机、网络服务或者信息，诱使攻击方对它们实施攻击，从而可以对攻击行为进行捕获和分析，了解攻击方所使用的工具与方法，推测攻击意图和动机，能够让防御方清晰地了解他们所面对的安全威胁，并通过技术和管理手段来增强实际系统的安全防护能力。蜜罐好比是情报收集系统。蜜罐好像是故意让人攻击的目标，引诱黑客前来攻击。所以攻击者入侵后，你...

2017-08-26 10:21:00 452

转载机器翻译引擎的基本原理 ——LSTM

机器翻译引擎的基本原理摘自：infoq谷歌机器翻译Zero-shot：零次Training：训练Google Neural Machine Translation：谷歌神经机器翻译我们每天都在使用不同的技术，但却不知道它们的工作原理。事实上，了解机器学习引擎并不容易。Statsbot团队希望通过本博客中的数据故事使机器学习更加清晰易懂。今天，我们来探讨一下机器...

2017-08-22 20:12:00 662

转载细述 Java垃圾回收机制→Types of Java Garbage Collectors

细述 Java垃圾回收机制→Types of Java Garbage Collectors转自：https://segmentfault.com/a/1190000006214497本文非原创，翻译自Types of Java Garbage Collectors在Java中为对象分配和释放内存空间都是...

2017-08-21 12:25:00 42

转载 elasticsearch index 之 put mapping

elasticsearch index 之 put mappingmapping机制使得elasticsearch索引数据变的更加灵活，近乎于no schema。mapping可以在建立索引时设置，也可以在后期设置。后期设置可以是修改mapping（无法对已有的field属性进行修改，一般来说只是增加新的field）或者对没有mapping的索引设置mapping。pu...

2017-08-17 16:14:00 525

转载人的原罪、本我和超我

摘自：https://www.zhihu.com/question/31362451/answer/51606300人的原罪的存在，因为人人皆有，所以在潜意识中，形成了对本我的接纳，而神爱世人与宽恕的存在，形成了本我与超我的良性互动。在这样的关系中，本我是被接纳的，而非排斥。同时超我接纳本我的同时，毕竟本我的行为是被认为是有罪的，是需要宽恕的，也形成了约束。最重要的是，超...

2017-08-15 16:52:00 117

转载 ES正常停止步骤

1. 停止所有index服务 2. 执行curl -XPUT $url/_cluster/settings?pretty -d '{"transient" : {"cluster.routing.allocation.enable" : "none"}}' 3. 执行curl -XPOST $url/_flush/synced?pretty 4. 重启ES集群 5. 等待集群分片全部分配...

2017-08-14 16:18:00 413

转载有效的域名后缀列表

# Version 2016060300, Last Updated Fri Jun 3 07:07:01 2016 UTCAAAAARPABBABBOTTABBVIEABOGADOABUDHABIACACADEMYACCENTUREACCOUNTANTACCOUNTANTSACOACTIVEACTORADADACADSADULTAEAEGAEROAETNAAFAFLAGAGAKHANA...

2017-08-14 15:56:00 2127

转载 sc.textFile("file:///home/spark/data.txt") Input path does not exist解决方法——submit 加参数 --master local...

use this val data = sc.textFile("/home/spark/data.txt") this should work and set master as local.Input path does not exist解决方法spark-submit --master local 即可解决！参考：https://stackoverflow....

2017-08-14 14:26:00 630

转载 Spark技术在京东智能供应链预测的应用——按照业务进行划分，然后利用scikit learn进行单机训练并预测...

3.3 Spark在预测核心层的应用我们使用Spark SQL和Spark RDD相结合的方式来编写程序，对于一般的数据处理，我们使用Spark的方式与其他无异，但是对于模型训练、预测这些需要调用算法接口的逻辑就需要考虑一下并行化的问题了。我们平均一个训练任务在一天处理的数据量大约在500G左右，虽然数据规模不是特别的庞大，但是Python算法包提供的算法都是单进程执行。我们计算过，...

2017-08-12 11:42:00 87

转载 SaltStack介绍——SaltStack是一种新的基础设施管理方法开发软件,简单易部署,可伸缩的足以管理成千上万的服务器,和足够快的速度控制,与他们交流...

SaltStack介绍和架构解析简介SaltStack是一种新的基础设施管理方法开发软件,简单易部署,可伸缩的足以管理成千上万的服务器,和足够快的速度控制,与他们交流,以毫秒为单位。SaltStack提供了一个动态基础设施通信总线用于编排,远程执行、配置管理等等。SaltStack项目于2011年启动,年增长速度较快,五年期固定基础设施编制和配置管理的...

2017-08-12 11:20:00 116

转载英特尔深度学习框架BigDL——a distributed deep learning library for Apache Spark

BigDL: Distributed Deep Learning on Apache SparkWhat is BigDL?BigDL is a distributed deep learning library for Apache Spark; with BigDL, users can write their deep learning applications as st...

2017-08-12 11:05:00 142

转载宠物乘机的三种模式【转】

几天前微博用户@HUST_维维豆奶在网上控诉，他搭乘东航MU2544次航班（上海浦东—武汉）时，托运的金毛犬在天河机场被打成重伤（附1）。机场方面给出了官方回应（附2与附3），并且已向事主支付了五万元医疗费。目前事情还在发展之中，在此我们不便判断谁对谁错。但撇开种种理性分析不谈，看到小狗被伤害，在感情上肯定是很难过的，这里也希望po主的小狗早日康复。言归正传，本文旨在提供一个宠物...

2017-08-10 13:10:00 138

转载机器学习特征表达——日期与时间特征做离散处理（数字到分类的映射），稀疏类分组（相似特征归档），创建虚拟变量（提取新特征）本质就是要么多变少，或少变多...

特征表达接下来要谈到的特征工程类型虽然简单却影响巨大。我们将其称为特征表达。你的数据并不一定总是理想格式。你需要考虑是否有必要通过另一种形式进行特征表达以获取有用信息。日期与时间特征：我们假设你拥有purchase_datetime特征。从中提取purchase_day_of_week与purchase_hour_of_day两项特征可能会更有用。你还可以进行观察聚类以...

2017-08-09 20:21:00 270

转载域名解析举例

1，什么是DNS服务器?互联网是由无数台服务器和PC连接在一起组成的，每个服务器都会有一个唯一的数字标识，叫IP地址，IP地址是数字表示的，比如218.231.156.61服务器，pc之间的通信协议用的是TCP/IP协议，在底层通信里面，通信双方都是凭借IP地址和对方联系的，并没有域名参与。域名是给人记忆用的，为了能够把人记得住的名字转换成机器认识的IP地址，就需要DNS服务器来做这个...

2017-08-08 10:53:00 206

转载什么是域名的TTL值？ ——一条域名解析记录在DNS缓存服务器中的存留时间

什么是域名的TTL值？转自：http://hizip.net/index.php/archives/20/TTL(Time-To-Live)，就是一条域名解析记录在DNS服务器中的存留时间。当各地的DNS服务器接受到解析请求时，就会向域名指定的NS服务器(权威域名服务器）发出解析请求从而获得解析记录；在获得这个记录之后，记录会在DNS服务器(各地的缓存服务器，也叫递归域名服务器）中...

2017-08-08 10:53:00 442

转载 Linux上的free命令详解

Linux上的free命令详解转自：http://www.cnblogs.com/coldplayerest/archive/2010/02/20/1669949.html　　解释一下Linux上free命令的输出。　　下面是free的运行结果，一共有4行。为了方便说明，我加上了列号。这样可以把free的输出看成一个二维数组FO(Free Output)。例如：...

2017-08-07 19:56:00 101

转载 MVC/MVP/MVVM区别——MVVM就是angular，视图和数据双向绑定

摘自：http://www.ruanyifeng.com/blog/2015/02/mvcmvp_mvvm.html一、MVCMVC模式的意思是，软件可以分成三个部分。视图（View）：用户界面。控制器（Controller）：业务逻辑模型（Model）：数据保存各部分之间的通信方式如下。View 传送指令到 Controller...

2017-08-07 10:41:00 70

转载 elasticsearch如何安全重启节点

elasticsearch如何安全重启节点标签：elasticsearch节点| 发表时间：2016-05-24 03:58 | 作者：kfcman分享到：出处：http://www.iteye.comelasticsearch集群，有时候可能需要修改配置，增加硬盘，扩展内存等操作，需要对节点进行维护升级。但是业务不能停，如果直接kill掉节点，可能导...

2017-08-04 16:30:00 52

转载 ES等待任务——是master节点上的task任务

等待中的任务编辑有一些任务只能由主节点去处理，比如创建一个新的索引或者在集群中移动分片。由于一个集群中只能有一个主节点，所以只有这一节点可以处理集群级别的元数据变动。在 99.9999% 的时间里，这不会有什么问题。元数据变动的队列基本上保持为零。在一些罕见的集群里，元数据变动的次数比主节点能处理的还快。这会导致等待中的操作会累积成队列。等待中的...

2017-08-04 16:20:00 311

转载 1. 批量梯度下降法BGD 2. 随机梯度下降法SGD 3. 小批量梯度下降法MBGD

排版也是醉了见原文：http://www.cnblogs.com/maybe2030/p/5089753.html　　在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。　　下面我们以线性回归算法来对三种梯度下降法进行比较。1. 批量梯度下降法BGD　　批量梯度下降法（...

2017-08-03 09:37:00 135

转载 DNS反射放大攻击分析——DNS反射放大攻击主要是利用DNS回复包比请求包大的特点，放大流量，伪造请求包的源IP地址为受害者IP，将应答包的流量引入受害的服务器...

DNS反射放大攻击分析摘自：http://www.shaojike.com/2016/08/19/DNS%E6%94%BE%E5%A4%A7%E6%94%BB%E5%87%BB%E7%AE%80%E5%8D%95%E5%88%86%E6%9E%90/简介DNS反射放大攻击主要是利用DNS回复包比请求包大的特点，放大流量，伪造请求包的源IP地址为受害者IP，将应答包的流量引入受...

2017-08-02 08:58:00 291

空空如也

空空如也