2019年03月_在屋顶听歌

12月 11月 07月 06月 05月 03月 02月 01月

原创 Mysql大批量数据导入ElasticSearch

注：笔者环境 ES6.6.2、linux centos6.9、mysql8.0、三个节点、节点内存64G、八核CPU场景：通过Logstash插件批量导数据，个人感觉出现各种奇怪的问题，例如ES 内存暴满，mysql 所在服务器内存暴，最主要的是在一次导数时不能所导的数据量不能太大。经过一次次试探Logstash与优化Logstash导数的最后，终于还是动手直接运用ES提供的api进行导数了...

2019-03-29 23:51:06 30191 40

原创 TensorFlow +Anaconda + Pycharm 环境搭建

注：笔者环境 win10 + 64位 + NVDIA9.0，目前tensorFlow gpu版本只支持NVDIA下安装一、安装 Anaconda1、官网下载地址：https://repo.anaconda.com/archive/Anaconda3-2018.12-Windows-x86_64.exe2、解压，安装基本一直下一步这一步笔者选择将anaconda 环境默认加入path，默...

2019-03-24 11:37:01 2183

原创 Logstash-input-jdbc 同步mysql 数据至ElasticSearch

笔者环境： Logstash 6.6.2 ，Centos6.9， Mysql 8.0， ElasticSearch 6.6.2 ，三个节点一、安装 logstash-input-jdbc1、下载Logstash 上传并解压，笔者已经安装，见如下链接 Logstash Centos上部署与入门测试注：logstash-input-jdbc插件是logstash 的一个个插件，因此需要...

2019-03-22 23:19:38 7558 2

原创 Logstash Centos上部署与入门测试

特别提示：Logstash是开箱即用，即解压后就能使用。笔者环境：Centos6.9 + ES6.6.2安装步骤如下示：一、官网下载解压笔者ES 版本为6.6.2 版本，因此也就直接下载Logstash6.6.2了。未探究过，这两者版本是否相互有影响。6.6.2 下载地址如下：https://artifacts.elastic.co/downloads/logstash/logstas...

2019-03-22 22:30:31 2074

原创 ElasticSearch + Kibana 安装部署

注：笔者环境 linux centos7标题一、ElasticSearch 单机部署1、官网下载ElasticSearchElasticSearch 6.6.2 版本下载地址 https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.2.tar.gz2、解压[root@nn01 ~]# tar -...

2019-03-19 23:04:23 5188

原创 KMeans 算法（一）

K-means算法简述K-means算法，也称为K-平均或者K-均值，一般作为掌握聚类算法的第一个算法。这里的K为常数，需事先设定，通俗地说该算法是将没有标注的 M 个样本通过迭代的方式聚集成K个簇。在对样本进行聚集的过程往往是以样本之间的距离作为指标来划分。简单Demo说明如上图以 K 为2，样本集为M 来描述KMean算法，算法执行步骤如下：选取K个点做为初始聚集的簇心...

2019-03-11 22:56:55 101552 9

原创 mysql 同一个ID多条记录去重只保留日期为最新的一条

select t.*from (select a.*,row_number() over( partition by a.QYZCH order by a.BGRQ desc) rnfrom EX_GONGSHANG_01V3_KYDJ_06_46 a) twhere rn = 1;

2019-03-06 14:28:16 11569 6

原创决策树-Decision Tree 算法（一）

前言：什么是决策树算法Decision Tree 算法是一种可用于对实例进行分类的树结构。其结构组成：非叶子节点与叶子节点，非叶子节点表示一个特征或划分实例类别的条件，叶子节点表示一个类别。决策树是既能够用于分类，也能用于回归的有监督学习算法。一、决策树算法原理通过对训练数据进行学习最终构建成一棵泛化能力强的分类树；根据步骤 1 生成的树对待预测的实例进行预测，决策的...

2019-03-01 22:33:06 1857

转载 PyCharm 常用快捷键和设置

注转自：PyCharm 常用快捷键和设置pycharm常用快捷键1、编辑（Editing）Ctrl + Space基本的代码完成（类、方法、属性）Ctrl + Alt + Space快速导入任意类Ctrl + Shift + Enter语句完成Ctrl + P参数信息（在方法中调用参数）Ctrl + Q快速查看文档F1外部文档S...

2019-03-01 10:26:26 463

JavaSE_Android精华版2.0.chm

Java se 基础总结例如正则表达式如下 1、正则(了解) 1、基本的正则表达式(看懂即可) 字符类 [abc] a、b 或 c（简单类） [^abc] 任何字符，除了 a、b 或 c（否定） [a-zA-Z] a 到 z 或 A 到 Z，两头的字母包括在内（范围） [0-9] 0到9的字符都包括 [a-d[m-p]] a 到 d 或 m 到 p：[a-dm-p]（并集） [a-z&&[def]] d、e 或 f（交集） [a-z&&[^bc]] a 到 z，除了 b 和 c：[ad-z]（减去） [a-z&&[^m-p]] a 到 z，而非 m 到 p：[a-lq-z]（减去）

2017-11-21