2018年06月_haixwang

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Elasticsearch进阶（一）写入性能基准测试写入性能优化(56小时到5小时),chunk_size探讨

进入正题之前，解决之前的一个疑问：Elasticsearch集群是否已经正确工作？截图时，只上传过一次数据（143万条），设置为：&amp;amp;amp;amp;amp;amp;amp;amp;amp;quot;number_of_shards&amp;amp;amp;amp;amp;amp;amp;amp;amp;quot;: 5,&amp;amp;amp;amp;amp;amp;amp;amp;amp;quot;number_of_repl

2018-06-28 22:34:40 13801

原创升级Centos的Python版本，安装使用elasticSearch-py，bulk跳过错误文档

升级服务器（centos6.9）Python2.6.6到2.7.15Python -Vcd /optwget --no-check-certificate https://www.python.org/ftp/python/2.7.15/Python-2.7.15.tar.xztar -xf ./Python-2.7.15.tar.xz【报错】：tar (child): xz...

2018-06-28 10:54:37 1391

原创 ElasticSearch（十二）——无文档ID的Json文件批量导入(Java/Python)

现在有这么一个需求：几十G的JSON文件，每份文件的字段不一定完全相同。1.最初的思路是： - 先直接使用_bulk API导入ES， - 借鉴自动导入的mapping，修改mapping - 再次导入2.结果使用_bulk API导入ES时报错： curl -H 'Content-Type: application/x-ndjson' -XPOST '172.21.*****...

2018-06-27 22:33:34 5605 2

原创分治法——53. Maximum Subarray

使用分治法需满足的条件原问题可以分解为若干个规模较小的子问题子问题互相独立子问题的解合并处理后可得到原问题的解LeetCode-53:Maximum subarray给定一个整数数组 nums，找到一个具有最大和的连续子数组（子数组最少包含一个元素），返回其最大和。示例:输入: [-2,1,-3,4,-1,2,1,-5,4], 输出: 6 解释:连续子数组[4,-1...

2018-06-27 17:55:18 1699

原创记一次elasticsearch集群升级以及x-pack安全实践

一、elasticsearch6.3.0 1.由于之前安装的5.6.8的版本没有实质性的使用，也就是说没有数据。故没有进行任何数据迁移的操纵，仅是安装了一个新的ES版本，想升级6.3版本的原因是：原生的SQL功能。2.curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.0.tar....

2018-06-25 20:23:19 6755

原创 Java原始类型的非线程安全以及AtomicInteger

首先，Java的原始数据类型（primitive datatypes），如short、int、double、long、boolean这些是非线程安全的；Java自带的线程安全的基本类型包括： AtomicInteger, AtomicLong, AtomicBoolean, AtomicIntegerArray,AtomicLongArray等实验，验证int类型是非线程安全的： 30...

2018-06-24 17:19:54 867

原创 TODO集合

从今天开始，我把所有18年起的TODO，都同步到这篇文章。一方面是方便自己常“回来看看“，记得解决这些疑惑；另一方面，希望知道/有解决思路的前辈们能留言或者（QQ911283415）指点一二，感激！（序列中所有非链接字体以及【】中的文字，可在文章中搜索定位）九、2018年06月23日:关于Object类一些重要方法的深入理解及重载第一段测试代码中，两个Integer引用未一...

2018-06-23 22:23:44 354

原创 java面试-基础（一）

1.原始类型和引用类型： - 引用实例变量的缺省值为 null，而原始类型实例变量的缺省值与它们的类型有关，除了boolean的初始值是false以外，其他的都是0的一种表现方式（比如0，0.0f，0.0d） - @Deprecated(since=&amp;quot;9&amp;quot;) public Integer(int value) { this.value = value; }...

2018-06-23 21:08:45 227

原创 JUnit简单总结（一）

1. @BeforeClass修饰的方法会在所有方法被调用前被执行，而且该方法是静态的，所以当测试类被加载后接着就会运行它，而且在内存中它只会存在一份实例，它比较适合加载配置文件。@BeforeClass修饰的方法运行结束之后，测试器会为每个测试执行以下步骤：创建一个新的测试集实例，也就是说，和所有的Java类一样，构造函数中所有的代码都会执行。这也是为什么每个@Test标注的...

2018-06-18 18:58:59 737

原创 3——无重复字符的最长子串

第一次本地尝试思路白纸代码IDE 代码时间空间复杂度结果不对的原因及串第二次本地尝试思路白纸代码IDE 代码白纸代码检验结果不对的原因最终代码时间及空间复杂度借鉴他人解决方案后的改进思路借鉴改进后最终代码时间及空间复杂度第一次本地尝试思路白纸代码IDE 代码import java.util.HashSet...

2018-06-14 23:46:35 312

原创 kafka——(一)：初识kafka

学习资源安利官网1.1 ~2. Kafka 0.11.0中文文档【收费的】~还是apachecn的靠普李志涛csdnOrdHome kafka中文教程郭俊 Jason的博客知乎的讨论视频资源，csdn搜索吧需求其实了解kafka也有一段时间了，最近可能需要从一个接口获得数据放进HDFS，感觉直接接受接口的数据放进Hive也不是不可以，但是考虑到稳定性可靠性，决定还是用...

2018-06-09 22:56:20 1800

原创 mapping与使用_reindex进行数据"迁移"

type中可以指定的类型：字符串：text，keyword 数字：byte、short、integer、long、float、double、时间：date 布尔值: true、false 数组: array 对象: objectElasticsearch独有的类型：多重: multi 经纬度: geo_point 网络地址: ip 堆叠对象: nested objec...

2018-06-07 17:44:30 4140 3

原创 mac/win——测试Python/Java导入CSV文件到ElasticSearch

utils—配置类package util;import java.io.IOException;import java.io.InputStream;import java.util.HashMap;import java.util.Map;import java.util.Properties;/** * &amp;amp;amp;amp;lt;p&amp;amp;amp;amp;gt;package: util,descirptio...

2018-06-06 21:19:01 2038

翻译 object_detection API论文Speed/accuracy trade-offs for...的详细中文翻译

在本文中，我们以一种详尽且公平的方式探索现代检测系统的效率和精确度之间的权衡。虽然（业界）已经对图像分类进行了（一定的）研究（例如，[3]），但是检测模型往往要复杂得多，&amp;amp;amp;lt;mark&amp;amp;amp;gt;我们主要研究singlemodel/single-pass 检测器，也就是说我们的模型不使用【文章后文也提到了这个】合成、multi-crop【可理解为多处裁剪】方法或其他例如水平翻转等等的“技巧”，换句话说，我们只通过一个网络传递一个单

2018-06-02 23:52:36 1398 2

Stream Processing with Apache Flink完整书签高清pdf和epub版，以及评价超高的Streaming Systems

保证完整，目前网上找个完整的不容易（2019-06-13）; Stream Processing with Apache Flink（Flink布道者）完整书签高清pdf以及epub; 以及评价超高的Streaming Systems(谷歌大脑Tyler Akidau) ; 以及18年10月Flink技术沙

2019-06-13

Flink Forward 201809 PPT berlin

2018年09月03日至05日在 Berlin 进行的 flink forward 会议上的PPT。这里共44个演讲的PPT，1000页左右PPT。资料来源于互联网，下载于“过往记忆”。

2018-10-03

TensorFlow实战PDF+代码，TensorFlow实战Google深度学习框架+代码

《TensorFlow实战》希望用简单易懂的语言带领大家探索TensorFlow（基于1.0版本API）。在《TensorFlow实战》中我们讲述了TensorFlow的基础原理，TF和其他框架的异同。并用具体的代码完整地实现了各种类型的深度神经网络：AutoEncoder、MLP、CNN（AlexNet，VGGNet，Inception Net，ResNet）、Word2Vec、RNN（LSTM，Bi-RNN）、Deep Reinforcement Learning(Policy Network、Value Network)。此外，《TensorFlow实战》还讲解了TensorBoard、多GPU并行、分布式并行、TF.Learn和其他TF.Contrib组件。《TensorFlow实战》希望能帮读者快速入门TensorFlow和深度学习，在工业界或者研究中快速地将想法落地为可实践的模型。购买地址：https://item.jd.com/12125568.html 《TensorFlow：实战Google深度学习框架》为使用TensorFlow深度学习框架的入门参考书，旨在帮助读者以更快、更有效的方式上手TensorFlow和深度学习。书中省略了深度学习繁琐的数学模型推导，从实际应用问题出发，通过具体的TensorFlow样例程序介绍如何使用深度学习解决这些问题。《TensorFlow：实战Google深度学习框架》包含了深度学习的入门知识和大量实践经验，是走进这个更新、更火的人工智能领域的推荐参考书。购买地址：https://item.jd.com/12125572.html

2017-09-19

李兴华oracle学习笔记（全）PDF

个人感觉李兴华老师的讲课风格和马士兵老师的风格很像，这个笔记是课堂上李兴华老师敲的，非常的详细。很适合平常查询以及复习用。不想花积分的朋友可以留言，我可以私发。

2017-02-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

王某的博客