- 博客(28)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 pandas用法大全
一、生成数据表二、数据表信息查看三、数据表清洗四、数据预处理五、数据提取六、数据筛选七、数据汇总八、数据统计九、数据输出一、生成数据表1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用：import numpy as npimport pandas as pd122、导入CSV或者xlsx文件：df = pd....
2018-05-31 17:34:08
359
转载 numpy的ndarray与pandas的series和dataframe之间互转
在大数据分析中，比较常用的两个数据分析包就是numpy和pandas，而pandas正是基于numpy构建的含有更高级数据结构和工具的数据分析包，在金融领域应用更是广泛。在实际的工程中，经常遇到的问题就是numpy的ndarray数据结构与pandas的series和dataframe数据结构之间的互相转换问题。现在我分3种情况，在python程序中列一下互转的情况，应该比较全面了。情况1：输...
2018-05-31 16:59:03
21480
1
原创 scikit-learn中如何保存模型？
Scikit-learn 官网上建议的两种方式：1.pickle>>> from sklearn import svm>>> from sklearn import datasets>>> clf = svm.SVC()>>> iris = datasets.load_iris()>>>
2018-05-31 14:11:44
3929
转载 ELK（八）：kibana使用的lucene查询语法
ELK：kibana使用的lucene查询语法一、全文搜索在搜索栏输入login，会返回所有字段值中包含login的文档使用双引号包起来作为一个短语搜索 "like Gecko"二、字段也可以按页面左侧显示的字段搜索 限定字段全文搜索：field:value 精确搜索：关键字加上双引号 filed:"value" http.code:404 搜索http状态码为...
2018-05-25 14:55:13
2136
原创 MySQL 查看表结构简单命令
MySQL 查看表结构简单命令一、简单描述表结构，字段类型desc tabl_name;显示表结构，字段类型，主键，是否为空等属性，但不显示外键。例如：desc table_name二、查询表中列的注释信息select * from information_schema.columnswhere table_schema = 'db' #表所在数据库...
2018-05-24 15:30:18
959
原创 Illegal mix of collations (utf8_general_ci,IMPLICIT) and (utf8_unicode_ci,IMPLICIT) for operation '=
想比较一下，从表结构中除去已有的字段，结果出现问题。SELECT column_name FROM information_schema.columns WHERE table_schema ='fhlc_stat' AND table_name = 'user_dimension_detail' AND column_name NOT IN ( SELECT FIELD FROM f...
2018-05-24 13:57:11
418
转载 【爬虫】HTTP代理神器Fiddler
HTTP代理神器FiddlerFiddler是一款强大Web调试工具，它能记录所有客户端和服务器的HTTP请求。 Fiddler启动的时候，默认IE的代理设为了127.0.0.1:8888，而其他浏览器是需要手动设置。工作原理Fiddler 是以代理web服务器的形式工作的，它使用代理地址：127.0.0.1，端口：8888Fiddler抓取HTTPS设置启动Fi...
2018-05-23 16:47:56
652
转载 为什么你用不好Numpy的random函数？
在python数据分析的学习和应用过程中，经常需要用到numpy的随机函数，由于随机函数random的功能比较多，经常会混淆或记不住，下面我们一起来汇总学习下。import numpy as np1 numpy.random.rand()numpy.random.rand(d0,d1,…,dn)rand函数根据给定维度生成[0,1)之间的数据，包含0，不包含1dn表格每...
2018-05-21 16:52:44
177
转载 HTTP协议详解
HTTP和HTTPSHTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）简单讲是HTTP的安全版，在HTTP下加入SSL层。SSL（Secure Sockets Layer 安全套接层）主要用于W...
2018-05-17 19:54:19
356
原创 爬虫框架Scrapy入门（一）
一、环境搭建Linux用户Windows用户Anaconda二、第一个Scrapy项目1、创建项目2、Scrapy架构图3、设置settings.py的配置（按需）4、在items.py定义字段5、在spiders中编写爬虫① 创建一个spider② 解析页面的url③ 导入需要的包④ url请求代码④ 测试执行⑤ 爬取下一页⑥ 获取小说的名字和url⑦...
2018-05-17 19:15:18
339
原创 Scrapy架构图
项目创建完了，也知道了大致功能，接下来看看整体架构和怎样运行的:组件Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。下载器(Downloader) 下载器负责获...
2018-05-17 13:21:23
1594
原创 Error Code: 1786 Statement violates GTID consistency: CREATE TABLE ... SELECT.
1、错误描述1 queries executed, 0 success, 1 errors, 0 warnings查询：call account_check_main('20180511')错误代码： 1786Statement violates GTID consistency: CREATE TABLE ... SELECT.执行耗时 : 0 sec传送时间 :...
2018-05-15 15:59:08
20586
原创 查看MySql版本号命令
查看MySql版本号命令 这里介绍四中不同的方法，它们分别运行在不同的环境中，最后对每种方法的优劣以及使用范围也做了总结。1、直接在操作系统命令行下执行：MySQL –VC:>MySQL -V2、 MySQL 客户端命令：status （缩写为 \s）mysql –u root –p命令登录，登陆的日志里面也有版本号MySQL> statu...
2018-05-15 15:49:38
159237
4
原创 Error Code: 1318. Incorrect number of arguments for PROCEDURE account_check.temp_i; expected 1, got
1、错误描述1 queries executed, 0 success, 1 errors, 0 warnings查询：CALL temp_i错误代码： 1318Incorrect number of arguments for PROCEDURE account_check.temp_i; expected 1, got 0执行耗时 : 0 sec传送时间 : 0...
2018-05-15 11:31:45
7238
原创 python从字符串中提取数字
1、使用正则表达式，用法如下：## 总结## ^ 匹配字符串的开始。## $ 匹配字符串的结尾。## \b 匹配一个单词的边界。## \d 匹配任意数字。## \D 匹配任意非数字字符。## x? 匹配一个可选的 x 字符 (换言之，它匹配 1 次或者 0 次 x 字符)。## x* 匹配0次或者多次 x 字符。## x+ 匹配1次或者多次 x 字符。## x{n,m} 匹配...
2018-05-14 14:43:16
158917
2
原创 python去掉字符串中空格的方法
1、 strip()：把头和尾的空格去掉2、 lstrip()：把左边的空格去掉3、 rstrip()：把右边的空格去掉4、 replace('c1','c2')：把字符串里的c1替换成c2。>>> a=' ddd dfe dfd efre ddd '>>> a.replace(' ','')'ddddfedfdef...
2018-05-09 20:00:46
498
原创 【Python】HTTP Status 400 - Required String parameter 'params' is not present
今天在做爬虫，对某金融网站的标的进行爬取，用fiddler进行抓包分析的时候，拦截到的网址是：https://www.XXX.com/api/2.0/W/getProjectList页面内容如下：然后再浏览器中进行访问，出现如下结果说：必需的字符串参数'params'不存在这什么鬼？fiddler也没拦截到参数啊，然后我开始看js，都是压缩后的，眼花缭乱。后来感...
2018-05-09 18:29:41
4583
原创 【python】13位时间戳转成正常格式的时间
13位是毫秒时间戳 10位是秒时间戳。import time# 输入毫秒级的时间，转出正常格式的时间def timeStamp(timeNum): timeStamp = float(timeNum/1000) timeArray = time.localtime(timeStamp) otherStyleTime = time.strftime("%Y-%...
2018-05-08 14:57:39
33205
转载 ELK（七）：ElasticSearch常用命令
ElasticSearch常用命令1、启动2、ELasticsearch集群已经启动并且正常运行3、计算集群中的文档数量4、查看集群健康状况5、查看my_index的mapping和setting的相关信息6、查看所有的index7、空查询8、分页搜索9、range查询10、组合查询11、带过滤器的查询12、验证查询13、删除索引14、只查询部分字段15、修改密码...
2018-05-07 17:09:05
1623
转载 ELK（六）：Logstash——input/file使用详解
最简单的配置文件其他参数介绍1、path2、exclude3、start_position4、sincedb_path5、关于扫描和检测的时间6、add_field7、tags8、delimiter处理的都是日志，在之前的文章ELK（四）：Logstash的安装及使用介绍过溢写基础，本篇继续深入，主要讲解的就是input下的file的参数。最简...
2018-05-06 22:21:25
6130
原创 处理Elasticsearch集群yellow和red状态
RED原因red表示不是所有的主分片都可用，通常时由于某个索引的住分片为分片unassigned，只要找出这个索引的分片，手工分配即可处理官方文档的详细说明通过curl GET http://{ESIP}:9200/_cluster/health?level=indices查看所有索引信息，查看下是哪个索引的status是red导致了集群都red了(集群索引多的时候一眼...
2018-05-04 21:28:37
18265
原创 ELK（五）：安装ElasticSearch-Head插件
ElasticSearch-Head安装步骤1. 安装git2. 安装node3. 安装grunt工具4. 修改head源码5. 配置elasticsearch允许head插件跨域访问6. 运行headElasticSearch-Head关于ElasticSearch-Head官方介绍比较简单，只有一句话：ElasticSearch-Head 是一...
2018-05-04 17:32:10
527
原创 No module named yum错误的解决办法
今天用yum安装软件的时候出现如下错误:There was a problem importing one of the Python modulesrequired to run yum. The error leading to this problem was: No module named yumPlease install a package which prov...
2018-05-04 11:41:46
804
原创 Linux下安装python27
下载Python27安装包：curl 'https://www.python.org/ftp/python/2.7.14/Python-2.7.14.tgz'解压缩安装包tar -zxvf Python-2.7.14.tgz进入解压缩后的文件夹cd Python-2.7.14在编译前先在/usr/local建一个文件夹python27（作为Python的安装路径，以免覆盖老...
2018-05-03 22:05:32
2019
原创 ELK（一）：ELK概述
ELK概述使用场景日志分类常见适用场景ELK三种部署方式LogstashElasticSearchKibanaELK概述如今的时代数据量不断增大，服务器一般都是分布式部署，日志分布在多台服务器上，如果要查看日志信息肯定不能挨个服务器去查看，所以需要一个汇总的地方，统一管理。常见的部署组合就是ELK了，接下来简要介绍ELK（ElasticSearch+...
2018-05-01 23:25:24
1084
原创 ELK（三）：Kibana的安装过程
一、必须有已经安装了elasticsearch二、下载和解压缩Kibana安装包下载链接安装三、启动访问界面（http://ip:5601）在Dev Tools中查看集群状态四、外网访问一、必须有已经安装了elasticsearch安装连接： https://blog.csdn.net/qq_38486203/article/details/8...
2018-05-01 11:30:57
254
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人