- 博客(59)
- 收藏
- 关注
RSS订阅原创 python动态生成变量及sql语句与DF表转化
先说效果： 如图，本来是这样的一个DF表，表示各字段限制条件(A、B、C、D均为字段名) 通过下面步骤转化为一条sql语句，当然也做了反向操作for i in range(3): locals()['f'+str(i)]=[]import pandas as pdimport numpy as npa = pd.DataFrame({"A":[">=",5],...
2018-04-27 15:58:17
1979
转载 Mysql语法大全
先尽量全面记录一下，后期再完善记录一下语法，便于以后查询用户管理新建用户及密码：foo为名，123为密码，locahost为固定地址登录以下为两种创建方式CREATE USER foo@localhost IDENTIFIED BY ‘123’insert into mysql.user(Host,User,Password) values(“localhost”,”t...
2018-04-27 09:58:39
8168
原创 python计算股价与前一天股价关联(皮尔逊系数)
import pandas as pda = pd.read_csv("a.csv",names=["ha"])b = a.iloc[1:,:]row = pd.DataFrame({"ha":range(1)},index=range(a.index.size,a.index.size+1))c = pd.concat([b,row]).rename(columns={"ha":"he...
2018-04-25 20:32:35
963
原创 python计算股价与前一天新闻情感指数关联(皮尔逊系数)
import pandas as pdfrom datetime import datetimefrom datetime import timedeltaimport matplotlib.pyplot as plt a = pd.read_csv("c.csv")b = pd.read_csv("d.csv")a["newsPublishTime"]=a["newsPublishT...
2018-04-25 17:01:33
982
转载 8张Linux思维导图（定位自己能力、清楚学习方向）
Linux学习路径：Linux桌面介绍：FHS(文件系统目录标准)以上三张图，都是在学习实验楼上的课程——Linux 基础入门 ，教程里面看到的。Linux需要特别注意的目录这是在搜索的时候，偶然看到的，来源是：internetcn.netlinux 内核学习路线这个我是在简书上看到的，地址：点这里Linux Security Coaching这个是在github上看到的，地址： Linux Se...
2018-04-24 15:07:02
11608
转载 linux学习的思维导图
先附上一张学习路径的导图导图一导图二（一套）1、Linux目录结构2、帮助命令3、关机重启4、权限管理5、用户管理6、文件管理7、网络配置8、文件搜索9.压缩解压导图三下面这张导图从以下四个方面讲解linux：Linux介绍,Linux目录结构,Linux常用命令及vim详解。上图转自：https://blog.csdn.net/robertohuang/article/details/72909...
2018-04-24 15:00:27
473
转载 mysql聚合函数rollup和cube
一、with rollup：with rollup 通常和group by 语句一起使用，是根据维度在分组的结果集中进行聚合操作。——对group by的分组进行汇总。 假设用户需要对N个纬度进行聚合查询操作，普通的groupby语句需要N个查询和N次group by操作。而rollup的有点是一次可以去的N次groupby的结果，这样可以提高查询效率，同时大大减少网络的传输流量。1、rollup...
2018-04-23 19:18:33
256
转载 nohup 和>/dev/null 2>&1
一、用途：nohup表示永久运行。&表示后台运行在应用Unix/Linux时，我们一般想让某个程序在后台运行，nohup ./start-mysql.sh &该命令的一般形式为：nohup command &在缺省情况下该作业的所有输出都被重定向到一个名为nohup.out的文件中,除非另外指定了输出文件：nohup command > myout.file 2>...
2018-04-22 15:28:17
1122
转载 Linux与数据库简要总结
Linux与数据库简要总结LinuxLinux内核最初只是由芬兰人李纳斯·托瓦兹（Linus Torvalds）在赫尔辛基大学上学时出于个人爱好而编写的。Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix...
2018-04-22 14:37:56
3083
转载 五大开源MySQL管理工具!
对于数据库管理员(DBA)来说，保持数据库运行在最佳状态需要具备敏捷，专注，快速反应的能力以及一颗冷静的头脑。数据库几乎是所有应用程序成功运行的核心，由于DBA负责组织数据，因此寻找可靠的工具帮助简化数据库管理流程并简化日常维护任务是必要的。 以下这些优秀工具可以改善MySQL环境中的CLI和Web管理，SQL查询，模式迁移以及复制和恢复。(顺附Github地址，Star数量和提交数量供广大DB...
2018-04-22 10:57:16
17908
转载 Python操作MySQL数据库的三种方法
1. MySQLdb 的使用(1) 什么是MySQLdb？ MySQLdb 是用于 Python 连接 MySQL 数据库的接口，它实现了 Python 数据库 API 规范 V2.0，基于 MySQL C API 上建立的。(2) 源码安装 MySQLdb: https://pypi.python.org/pypi/MySQL-python$ tar zxvf MySQL-python-*.t...
2018-04-22 10:49:56
387
转载 Tomcat处理请求过程和重要参数详解
Tomcat处理用户连接请求模式 BIO:阻塞模型 NIO:非阻塞模型 APR:高性能，可扩展的模式，Tomcat8版本默认模式 在使用tomcat时，经常会遇到连接数、线程数之类的配置问题，要真正理解这些概念，必须先了解Tomcat的连接器（Connector）。在前面的文章 详解Tomcat配置文件server.xml 中写到过：Connector的主要功能，是接收连接请求，创建Request...
2018-04-22 10:12:20
1836
转载 值得收藏的27个机器学习的小抄
机器学习(Machine Learning)有很多方面，当我开始研究学习它时，我发现了各种各样的“小抄”，它们简明地列出了给定主题的关键知识点。最终，我汇集了超过 20 篇的机器学习相关的小抄，其中一些我经常会翻阅，而另一些我也获益匪浅。这篇文章里面包含了我在网上找到的 27 个小抄，如果你发现我有所遗漏的话，请告诉我。机器学习领域的变化是日新月异的，我想这些可能很快就会过时，但是至少在目前，它们...
2018-04-22 09:58:28
112
转载 Mysql中的join
初始化SQL语句:/*join 建表语句*/drop database if exists test;create database test;use test;/* 左表t1*/drop table if exists t1;create table t1 (id int not null,name varchar(20));insert into t1 values (1,'t...
2018-04-17 20:13:05
94
转载 Vim编辑器-批量注释与反注释
在使用vim编写代码的时候，经常需要用到批量注释与反注释一段代码。下面简要介绍其操作。方法一 块选择模式插入注释：用v进入virtual模式用上下键选中需要注释的行数按Control+v（win下面ctrl+q）进入列模式按大些“I”进入插入模式，输入注释符“#”或者是"//"，然后立刻按下ESC（两下）取消注释：Ctrl + v 进入块选择模式，选中你要删除的行首的注释符号，注意// 要选中两个...
2018-04-17 18:12:34
148
转载 Logstash日志收集（三）
Logstash日志收集（三）还是得先顺着官网了解一波：https://www.elastic.co/products/logstash一、跟着官网学习下Logstash的基本概念 集中，转换和隐藏。您的数据Logstash是一个开源的服务器端数据处理管道，可以同时从多个源中获取数据，并将其转换为您喜欢的“存储”（自然是Elasticsearch）。）1.1 Logstash 6.0.0新增功能用...
2018-04-17 17:26:43
7052
1
转载 elasticsearch安装与基础用法
来自官网，版本为2.3注意elasticsearch依赖jdk，2.3依赖jdk7下载rpm包并安装wget -c https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.3.5/elasticsearch-2.3.5.rpmrpm -ivh elas...
2018-04-17 14:05:05
126
原创 ElasticSearch安装实操问题及解决方案记录
一、安装包下载rpm包并安装wget -c https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.3.5/elasticsearch-2.3.5.rpmrpm -ivh elasticsearch-2.3.5.rpm配置文件位于/etc/elasti...
2018-04-17 13:57:59
224
转载 备份 SSDB 数据(导出/导入)
备份 SSDB 数据(导出/导入)使用 ssdb-cli使用 ssdb-cli 连接到 SSDB 服务器.导出导出整个数据库:# backup current database into file backup.ssdbssdb 127.0.0.1:8888> export backup.ssdb按照 Key 区间导出数据库(交互模式):ssdb 127.0.0.1:8888> e...
2018-04-17 10:48:11
989
原创 虚拟机网络配置（NAT模式）
选择NAT模式之后输入命令：ifconfig如果没有eth0则需要到/etc/sysconfig/network-scripts配置etho，如下：DEVICE="eth0"BOOTPROTO="dhcp"HWADDR="00:0C:29:B6:3B:AF"IPV6INIT="yes"NM_CONTROLLED="yes"ONBOOT="yes"TYPE="Ethernet&qu
2018-04-17 09:14:32
270
转载 日志系统ELK使用详解(五)--补充
概述日志系统ELK使用详解(一)–如何使用 日志系统ELK使用详解(二)–Logstash安装和使用 日志系统ELK使用详解(三)–elasticsearch安装 日志系统ELK使用详解(四)–kibana安装和使用 日志系统ELK使用详解(五)–补充一般来说日志信息我们只需要一段时间以内的，为了节省空间和服务器，可能会定期的删除一部分比较老的日志文件，比如一个月之前的。我们自己这边设定的是删除两...
2018-04-16 20:33:10
129
转载 日志系统ELK使用详解(四)--kibana安装和使用
概述日志系统ELK使用详解(一)–如何使用 日志系统ELK使用详解(二)–Logstash安装和使用 日志系统ELK使用详解(三)–elasticsearch安装 日志系统ELK使用详解(四)–kibana安装和使用 日志系统ELK使用详解(五)–补充这是这个小系列的最后一篇了，我们将看到如何安装kibana，以及对ELK中的日志信息进行快速查询。kibana安装1.到官网下载kibana； 2....
2018-04-16 20:32:26
400
1
转载 日志系统ELK使用详解(三)--elasticsearch安装
概述日志系统ELK使用详解(一)–如何使用 日志系统ELK使用详解(二)–Logstash安装和使用 日志系统ELK使用详解(三)–elasticsearch安装 日志系统ELK使用详解(四)–kibana安装和使用 日志系统ELK使用详解(五)–补充紧接上一篇，这一篇我们开始安装es，这里使用的是es5.3.0版本，可以在官网下载：https://www.elastic.co/cn/downlo...
2018-04-16 20:31:44
389
转载 日志系统ELK使用详解(二)--Logstash安装和使用
概述日志系统ELK使用详解(一)–如何使用 日志系统ELK使用详解(二)–Logstash安装和使用 日志系统ELK使用详解(三)–elasticsearch安装 日志系统ELK使用详解(四)–kibana安装和使用 日志系统ELK使用详解(五)–补充在开始之前先说一下Logstash的使用和熟悉路线图。接触ELK的时候不能图快，可以尝试着一部分一部分的安装起来熟悉，之后再逐个组装到一起，看效果。...
2018-04-16 20:31:02
248
转载 日志系统ELK使用详解(一)--如何使用
概述日志系统ELK使用详解(一)–如何使用 日志系统ELK使用详解(二)–Logstash安装和使用 日志系统ELK使用详解(三)–elasticsearch安装 日志系统ELK使用详解(四)–kibana安装和使用 日志系统ELK使用详解(五)–补充当我们管理和使用的后端服务程序突破单台场景，进入到集群部署场景时，日志文件就会散落在多台后端服务器上。这时候要查看、统计日志信息就需要到各个服务器上...
2018-04-16 20:30:18
3239
转载 在Linux操作系统下安装JAVA8
本篇文章会介绍如何在Linux操作系统上安装和更新JAVA8。1. 导读经过漫长的等待，Java SE Development Kit 8终于可以下载了，JDK8集成了很多增强的功能在2014年3月18日正式发布，你可以在这里查找所有的功能。 2. 下载最新的JDK版本你可以直接从Oracle官网下载最新的版本，你也可以通过shell运行下面的命令进行下载：对于64位cd /opt/wget -...
2018-04-16 19:48:40
937
转载 Linux系统下安装rz/sz命令及使用说明
1.软件安装1）编译安装root 账号登陆后，依次执行以下命令：cd /tmpwget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gztar zxvf lrzsz-0.12.20.tar.gz && cd lrzsz-0.12.20./configure && make && make ins...
2018-04-16 19:30:22
106
转载 logstash采集与清洗数据到elasticsearch案例实战
Logstash的使用logstash支持把配置写入文件 xxx.conf，然后通过读取配置文件来采集数据./bin/logstash –f xxx.conflogstash最终会把数据封装成json类型，默认会添加@timestamp时间字段、host主机字段、type字段。原消息数据会整个封装进message字段。如果数据处理过程中，用户解析添加了多个字段，则最终结果又会多出多个字段。也可以在...
2018-04-16 18:58:53
1977
3
转载 logstash日志分析的配置和使用
logstash日志分析的配置和使用 logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。 首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的...
2018-04-16 15:16:10
1227
转载 python dict与zip
一.zip函数：接受任意多个（包括0个和1个）序列作为参数，返回一个tuple列表。1.示例1：x = [1, 2, 3]y = [4, 5, 6]z = [7, 8, 9]xyz = zip(x, y, z)print xyz运行的结果是：[(1, 4, 7), (2, 5, 8), (3, 6, 9)]从这个结果可以看出zip函数的基本运作方式。2.示例2：x = [1, 2,...
2018-04-14 16:24:50
11472
转载 Python正则表达式操作指南
摘要本文是通过Python的 re 模块来使用正则表达式的一个入门教程，和库参考手册的对应章节相比，更为浅显易懂、循序渐进。本文可以从 http://www.amk.ca/python/howto 捕获目录目录 [隐藏] 1 简介2 简单模式2.1 字符匹配2.2 重复3 使用正则表达式3.1 编译正则表达式3.2 反斜杠的麻烦3.3 执行匹配3.4 模块级函数3.5 编译标志4 更多模式功能4....
2018-04-12 13:45:43
139
转载 Python 正则式学习笔记
1． Python正则式的基本用法1.1基本规则1.2重复1.2.1最小匹配与精确匹配1.3前向界定与后向界定1.4组的基本知识2． re模块的基本函数2.1使用compile加速2.2 match和search2.3 finditer2.4 字符串的修改与替换3． 更深入的了解re的组与对象3.1编译后的Pattern对象3.2 组与Match对象3.2.1组的名字与序号3.2.2 Mat...
2018-04-12 13:44:06
161
转载 正则基础之——环视(Lookaround)
1 环视基础环视只进行子表达式的匹配，不占有字符，匹配到的内容不保存到最终的匹配结果，是零宽度的。环视匹配的最终结果就是一个位置。环视的作用相当于对所在位置加了一个附加条件，只有满足这个条件，环视子表达式才能匹配成功。环视按照方向划分有顺序和逆序两种，按照是否匹配有肯定和否定两种，组合起来就有四种环视。顺序环视相当于在当前位置右侧附加一个条件，而逆序环视相当于在当前位置左侧附加...
2018-04-12 13:40:17
160
转载 python最全正则表达式
百度了很多正则表达式，此文最全：正则表达式是一个很强大的字符串处理工具，几乎任何关于字符串的操作都可以使用正则表达式来完成，作为一个爬虫工作者，每天和字符串打交道，正则表达式更是不可或缺的技能，正则表达式的在不同的语言中使用方式可能不一样，不过只要学会了任意一门语言的正则表达式用法，其他语言中大部分也只是换了个函数的名称而已，本质都是一样的。下面，我来介绍一下python中的正则表达式是怎么使用的...
2018-04-12 13:39:35
191
原创 python函数学习(持续更新ing)
一、判断是否为吉祥数字方法一：数字转化为字符串再转化为集合去重def lucky_num(num): #判断是否为吉祥数字 for i in set(str(num)): if str(i)=="8": print("吉祥") break else: ...
2018-04-11 20:23:56
1409
转载 如何用Python写一个安卓APP
前言：用Python写安卓APP肯定不是最好的选择，但是肯定是一个很偷懒的选择，而且实在不想学习Java，再者，就编程而言已经会的就Python与Golang(注：Python，Golang水平都一般)，那么久Google了一下Python写安卓的APP的可能性，还真行。既然要写个APP，那么总得要有个想法吧。 其实笔者想做两个APP来着，一个是自己写着好玩的，一个是关于运维的。 关于运维的APP...
2018-04-11 19:23:56
82738
8
转载 Mongodb入门增、删、改、查
Mongodb权威指南笔笔记整理-文档操作 一、插入并保存文档 插入是想MongoDB中添加数据的基本方法，对目标集使用insert方法，插入一个文档： [plain] view plain copy> db.person.insert({name:"joe",age:24}) WriteResult({ "nInserted" : 1 }) 这个操作会给文档增加一个"_id"建...
2018-04-11 19:21:01
343
转载 python--函数篇3
函数递归函数什么是递归函数？在一个函数的内部调用自身的函数，称为递归函数。 注意：分解：原问题可以分解为若干个子问题，且子问题为原问题较小规模的实例。 解决：递归求解子问题，当子问题的规模足够小，则直接求解。 合并：将子问题的解一层层的合并返回，直到返回结束，得到原问题的解由上可以得到，递归必须要有一个结束条件（规模足够小，直接求解），而且需要一个递归的公式（子问题为原问题较小规模的实例）。满足以...
2018-04-10 20:57:35
170
转载 Python--函数篇2
函数作用为了 提高编写的效率以及代码的重用,把具有独立功能的代码块组织为一个小模块，这就是函数格式def 函数名(): 代码12调用函数函数名() 1函数的文档说明方便了解函数的功能，便于维护def demo(arg1: int, arg2: str, arg3=None): """ 我是函数的文档说明 :param arg1: int 参数1 :p...
2018-04-10 20:48:00
205
转载 python--函数篇
函数你们要的函数库 * 或者用help(abs)查看函数信息 *定义函数def function(x):… －定义一个函数from (文件名，不含.py) import function －从本地导入函数定义一个空函数def nop(): pass12pass可以用来作为占位符if age >= 18: pass12数据类型检查可以用内置函数isinstance()实现：de...
2018-04-10 20:26:44
153
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人