luqin_-CSDN博客

原创 MYSQL事件的使用、创建事件Create、查看事件、修改时间、删除事件

文章目录事件创建事件查看事件修改事件删除事件事件事件（event）是MySQL在相应的时刻调用的过程式数据库对象。一个事件可调用一次，也可周期性的启动，它由一个特定的线程来管理的，也就是所谓的“事件调度器”。优点：一些对数据定时性操作不再依赖外部程序，而直接使用数据库本身提供的功能。可以实现每秒钟执行一个任务，这在一些对实时性要求较高的环境下就非常实用了。缺点：定时触发，不可以调用。创建事件1）向导创建选择对应数据库下事件->右键新建事件>填写事件信息->保存-&

2020-09-08 15:16:04 4354

原创 MYSQL存储、创建存储Create、查看存储、更新/修改存储、删除存储以及实例讲解

1.存储存储过程（Stored Procedure）是一种在数据库中存储复杂程序，以便外部程序调用的一种数据库对象。存储过程是为了完成特定功能的SQL语句集，经编译创建并保存在数据库中，用户可通过指定存储过程的名字并给定参数(需要时)来调用执行。存储过程思想上很简单，就是数据库 SQL 语言层面的代码封装与重用。创建存储1）向导创建选择对应数据库下函数右键新建函数->选择过程->填写输入/输出参数->填写函数体信息->保存->填写函数名使用SQL创建语法:

2020-09-08 15:13:04 641

原创 python小知识积累---持续更新

整行为空进行剔除 result_df[null_lis].dropna(axis=0, how=‘all’)将三列年月日重新组装成一个日期字段： pd.PeriodIndex(year=no_equal_df[“add_year”], month=no_equal_df[“end_month”], day=no_equal_df[“end_day”], freq=“D”).to_datetime()或者：pd.to_datetime((no_equal_df[“now_year”] ..

2020-08-28 15:40:42 311

原创 MYSQL主键索引、普通索引、唯一索引、全文索引的增加/修改/更新/删除以及其实例

主键索引唯一且不能为空，可多列。主键语法：在原表已有主键时，如果在进行ALTER ADD 增加主键会报错， Multiple primary key defined，需要删除原先的主键后，再进行创建。创建表的时候指定主键： CREATE TABLE tablename ( [...], PRIMARY KEY ('数据库字段名称','数据库字段名称')); 创建主键： ALTER TABLE tablename ADD PRIMARY KEY (数据库字段名称);删除主键： ALTER T

2020-08-20 17:48:48 1453

原创 MYSQL 插入数据INSERT，更新/修改数据 UPDATE，删除数据DELETE，新增表CREATE、更新/修改表 ALTER、删除表 DELETE

插入数据INSERT INTO table_name VALUES (value1,value2,value3,…);INSERT INTO table_name (column1,column2,column3,…) VALUES (value1,value2,value3,…);直接插入数据： INSERT INTO `py_test1` VALUES (1,"Lucy")将另外一张表的数据插入当前表中：INSERT INTO `py_test1` (id,name_com) SELEC

2020-08-20 17:41:16 368

原创 MYSQL自定义函数的创建 create、查看函数、修改/更新函数删除函数以及具体实例

创建函数1）使用语法创建// msyql中的函数一定有返回值// 创建函数的语法，注意:参数和返回值一定要写长度，避免使用到关键字create function 函数名（[形参列表]） returns 数据类型begin -- 函数体 -- 返回值 end// 函数实例create function ym_date(mydate date) returns varchar(15) begin return date_format(mydate,'%Y-%m');

2020-08-20 17:33:52 4443

原创 MYSQL 视图的创建 CREAT 、查看视图、修改/更新视图、删除视图以及实例

1）视图创建视图1.mysql 中点击视图->创建视图->写SQL语句 -> 保存2.或者直接写SQLCREATE VIEW <视图名> AS <SELECT语句>实例：CREATE VIEW `NewView`AS SELECT condition_type,product_name FROM `py_etl_product_bank_financial_gather`UNION SELECT py_private_id as conditi

2020-08-20 17:32:12 651

原创 mysql 文本处理函数（LEFT，LENGTH，LOWER，LIRIM，RIGHT，RTRIM，UPPER），日期处理函数（DATE，DATEDIFF，DATE_ADD，DATE_FORMATE）

1）文本处理函数left(str,len),right(str,len)SELECT left(record_number,3),right(record_number,3) FROM `py_etl_private_fund_base_info_2_1` ;LENGTH(str) 、lower(str)、UPPER(str)、LTRIM(str)、RTRIM(str)SELECT LENGTH(record_number) FROM `py_etl_private_fund_base_info_

2020-08-20 17:29:41 765

原创 MYSQL中查询检索数据（查询 SELECT、过滤WHERE、通配符LIKE、分组GROUPBY、正则过滤REGEXP、）

ssql 查询/检索数据1）检索数据部分字段：SELECT cp_id,condition_type,product_name FROM `py_etl_product_bank_financial_gather` limit 100;全部字段：SELECT * FROM `py_etl_product_bank_financial_gather` limit 100;2）排序单个字段排序：SELECT cp_id,condition_type,product_name FROM `py

2020-08-12 17:39:44 510

原创 list中filter过滤以及过滤掉异常数据（nan，空字符、空格、多空格、None）

现象:对list中进行不为空的数据过滤filter，如果多个空格的情况如要一一写出，会比较麻烦，这里介绍一种简单地方法原因:对list中进行不为空的数据过滤，filter()函数中需传入需过滤的数据，但是当有两个空格、三个空格…,甚至更多时，我们一一进行写出，就会很费时费力。举例: 如有list:list1 =[1,5, 8,56,99, 'love',None,nan, 0.857,'',' ',' ',' ', ' ',' ']这时我们使用fliter单个过滤：

2020-08-12 17:37:42 12260

原创 DataFrame中varchar字段类型过滤其中异常数据(空字符、空格、多个空格)

现象:对DataFrame中 varchar类型字段取不为空数据时，notnull()语法未剔除为空‘’，一个空格‘ ’，多个空格的情况，导致对数据进行计数或者其他操作会不准确原因:对DataFrame中varchar类型字段取不为空数据时，notnull()语法未剔除为空‘’，一个空格‘ ’，多个空格的情况举例: 如有DataFrame:df = fruit0 None1 NaN2 3 4 5 a

2020-08-12 17:36:28 636

原创数据重复（唯一索引的设置）

现象:表中含有自增ID字段时，脚本同一时间多次调用，导致写入重复数据原因: 首先，表的结构为自增ID表结构，只要传入写入的数据，数据就会被写入，所以在写入数据前是进行truncate操作，将数据进行删除，再进行写入。其次，由于脚本同一时间触发多次，执行速度相同，在写入数据时，就会同时写入相同的数据，导致数据重复。举例：四川天府银行资产管理银行理财数据重复：：当天调度同一时间触发多次，且表结构为自增ID结构，导致数据重复写入。所以在脚本下次未执行之前，数据都是重复(错误)的。

2020-08-12 17:35:43 778

原创 matplotlib.pyplot.plot()参数详解、线形图、条形图、散点图、饼状图、画布大小、位置、颜色、标题、图例、坐标轴刻度设置实例详解

文章目录matplotlib.pyplot.plot()绘图文档1. plot函数的一般的调用形式：2. 参数fmt,以及一些常用参数举例3.一些图形的绘制1.线形图plt2. 柱形图/条形图 plt.bar,plt.barh3. 散点图plt.scatter4. 饼图plt.pie5. 画布设置5.1 画布大小plt.figure、位置plt.subplot、网格设置grid3.设置标题plt...

2019-12-15 22:12:29 5213

原创 07-1SciPy绘图工具的使用 scipy 积分求解与绘图工具matplotlib.pyplot及scipy.misc 使用、文件输入输出

scipy 积分求解与绘图工具matplotlib.pyplot及scipy.misc 使用文章目录scipy 积分求解与绘图工具matplotlib.pyplot及scipy.misc 使用求积分绘制正弦曲线文件输入输出SciPy 中ndimage的使用可选的cmap字符串滤波处理import numpy as npimport pandas as pdfrom pandas imp...

2019-03-24 16:22:12 992

原创 06 pandas回顾文件的读取read_excel、索引与切片（loc、iloc）、过滤、删除、级联、映射、排序、分组的详细例子

pandas回顾 1 文件的读取索引与切片文章目录pandas回顾 1 文件的读取索引与切片显式访问隐式访问pandas回顾 2 合并与级联总结·pandas回顾 3 数据处理过滤删除排序删除映射关系字典\lmabda\function异常值检测和过滤排序数据分类处理练习：美国选举政治献金import numpy as npimport pandas as pdfrom ...

2019-03-24 16:13:07 7449 3

原创 05-1 pandas数据处理删除duplicated()、替换replace()，映射map()，重命名rename()、聚合函数、排序take()、分组groupby（）

pandas数据处理文章目录pandas数据处理1、删除重复元素duplicated()2. 映射1) replace()函数：替换元素Series替换操作DataFrame替换操作2) map()函数：新建一列3) rename()函数：替换索引3. 使用聚合操作对数据异常值检测和过滤4. 排序使用.take()函数排序随机抽样5. 数据分类处理【重点】1、删除重复元素duplicated(...

2019-03-24 16:05:57 1527

原创 05 -2 Scipy中 face()添加噪声、滤波器的使用、

登月图片消噪import numpy as npimport matplotlib.pyplot as pltimport scipy.misc as misc 导入图片，观察黑白图片和彩色图片的区别moon_ndarr = plt.imread("./moonlanding.png")moon_ndarr# cmap color map 颜色映射cmap中可以使用的值，有很多可...

2019-03-24 15:56:04 948

原创 pycharm下与spark的交互详细配置说明以及spark 运行简单例子

前提你本地的pyspark是可以运行的，如果有不明白的，可以看我的博客：https://blog.csdn.net/Lq_520/article/details/85323058下面开始了，试了无数次才成功的：pycharm的安装，不会的可以看我的博客：https://blog.csdn.net/Lq_520/article/details/83584987这样所有的安装配置都齐活了，开始在...

2018-12-29 16:41:29 1519

原创本地windows搭建spark环境，安装与详细配置(jdk安装与配置,scala安装与配置,hadoop安装与配置,spark安装与配置)

本地搭建spark环境，安装与详细配置文章目录本地搭建spark环境，安装与详细配置安装包下载地址：jdk安装与配置scala安装与配置hadoop安装与配置spark安装与配置安装包下载地址：JDK: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlHadoop2.6.5...

2018-12-28 15:40:49 1083

原创 centos7 (阿里云、linux) 单机spark的安装与配置详解(jdk安装与配置,scala安装与配置,hadoop安装与配置,spark安装与配置)

centos7 单机spark的安装与配置详解文章目录1.yum进行更新2. jdk安装与配置3. scala安装与配置4. spark安装与配置1.yum进行更新yum upgradesaprk的安装需要安装jdk、scala、spark2. jdk安装与配置安装 sudo yum install java-1.8.0-openjdk-devel.x86_64配置我们需找...

2018-12-28 10:42:27 571

原创 Windows下本地安装mysql 详细步骤其中报错：服务名无效，发生系统错误5，拒绝访问错误解决及navicat 的连接

文章目录首先我们去官网上下载mysql的安装源：https://dev.mysql.com/downloads/mysql/5.7.html#downloads下载后进行解压，文件路径当做安装路径；环境变量和相关文件配置文件配置：在安装路径中创建一个文件夹：data和配置文件my.ini，如下图：data里可以为空；my.ini 里面的配置为：[mysql]# 设置mys...

2018-12-24 18:06:23 2346

原创 python中调用R语言通过rpy2 进行交互安装配置详解（R_USER、R_HOME配置）

python中调用R语言通过rpy2 进行详解文章目录python中调用R语言通过rpy2 进行详解1.R语言的安装：2.Rpy2工具的安装和配置3.pycharm中使用R语言配置1.R语言的安装：https://jingyan.baidu.com/article/d8072ac49c3521ec94cefd55.html大家根据上面的网址进行R语言的安装，在安装好R后，需要配置环境变量R...

2018-11-08 10:00:11 9649 9

原创用SVN迁移代码并在pycharm中进行代码提交的详细配置

SVN 代码的迁移与提交文章目录SVN 代码的迁移与提交1.签出源代码到本机2. 文档的修改3.pycham中svn配置1.签出源代码到本机在本机创建文件夹，右键点击Checkout，弹出如下图的窗体：在上图中URL of Repository：下的文本框中输入svn server中的代码库的地址，其他默认，点击OK按钮,就开始签出源代码了。说明：上图中的Checkout Depth，...

2018-11-06 18:07:11 1990

原创 04-3 pandas 中 pd.Categorical用法

pandas.Categorical（values，categories = None，ordered = None，dtype = None，fastpath = False ）[source]表示经典R / S-plus方式的分类变量分类只能采用有限的，通常是固定数量的可能值（类别）。与统计分类变量相比，分类可能具有顺序，但数值运算（加法，除法，…）是不可能的。分类的所有值都在类别或np...

2018-11-01 10:48:24 6454

原创 04-2pandas的拼接操作

pandas的拼接操作pandas的拼接分为两种：级联：pd.concat, pd.append (没有重复数据)合并：pd.merge, pd.join (有重复数据)0. 回顾numpy的级联============================================练习12：生成2个3*3的矩阵，对其分别进行两个维度上的级联================...

2018-10-28 11:41:48 611

原创 04 -1 pandas索引的堆（行列操作，交换行列）、聚合操作（求和、最大值、最小值、平均值等）

引入模块import pandas as pdfrom pandas import Series,DataFrameimport matplotlib.pyplot as plt创建示例DataFrame# 用作案例不要删！！！data=np.random.randint(0,150,size=(2,8))index=["rose","jack"]columns=pd.Mul...

2018-10-28 10:52:12 2560

原创 03 -3 pandas 层次化索引（隐式构造，显示构造）、多层列索引、多层索引对象的索引与切片操作（Series的操作，DataFrame的操作）

pandas层次化索引多级索引包括: 多级行索引和多级列索引1. 创建多层行索引1) 隐式构造最常见的方法是给DataFrame构造函数的index参数传递两个或更多的数组Series也可以创建多层索引import numpy as npimport pandas as pdfrom pandas import Series,DataFrameindex = [np.ar...

2018-10-24 20:03:07 1552

原创 03 -2 numpy与pandas中isnull()、notnull()、dropna()、fillna()处理丢失数据的理解与实例

引入三剑客import numpy as npimport pandas as pdfrom pandas import Series,DataFrame处理丢失数据1.有两种丢失数据：None: Python自带的数据类型不能参与到任何计算中np.nan(NaN): float类型能参与计算，但结果总是NaNnp.nan + 9 结果为：nan ...

2018-10-24 20:00:49 3292

原创 03 -1 pandas 中 DataFrame理解与创建、索引、运算的详解以及实例

DataFrameDataFrame是一个【表格型】的数据结构，可以看做是【由Series组成的字典】（共用同一个索引）。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引，也有列索引。行索引：index 代表样本列索引：columns 代表维度值：values（numpy的二维数组）1）Data...

2018-10-24 19:59:12 1707

原创 02 ndarray的属性、ndarray的基本操作（索引、切片、变形、连接、切分、副本）、聚合操作、矩阵操作、排序、Panda数据结构、Series创建、索引与切片、属性与方法、运算

二、ndarray的属性4个必记参数：ndim：维度shape：形状（各维度的长度）size：总长度dtype：元素类型import matplotlib.pyplot as pltndarr = plt.imread("./jin.png")plt.imshow(ndarr)# 接下来展示的是几个属性 ndarr.ndim # 多少个维度ndarr.shape # 形状 2...

2018-10-23 17:02:27 1078

原创 01 NumPy 理解与ndarray创建多维数组的常用方法与具体实例

NumPy get started导入numpy库 import numpy as np查看版本np.__version__numpy核心其实就是一个 ndarray 多维数组（演示 ndarray 输出效果以及和 list 的区别）# 参数起始值结束值数组大小起始值能取到结束值取不到左闭右开区间 [start,end)ndarr1 = np.rand...

2018-10-23 16:08:51 1377

原创进程与线程理解和关系

进程线程的含义进程就是一个程序在一个数据集上的一次动态执行过程。进程一般由程序、数据集、进程控制块三部分组成。我们编写的程序用来描述进程要完成哪些功能以及如何完成；数据集则是程序在执行过程中所需要使用的资源；进程控制块用来记录进程的外部特征，描述进程的执行变化过程，系统可以利用它来控制和管理进程，它是系统感知进程存在的唯一标志。进程执行程序的最小单位，任务调度采用时间片轮转的抢占式方式进行...

2018-08-15 23:18:53 270

原创 str和repr的理解与区别

str和repr的理解与区别class Me(object): def __init__(self, name, hobby): self.name = name self.hobby = hobby def __str__(self): return (' __str__(): '+self.name + ' ' +...

2018-08-15 23:17:05 1300

原创 python中init()方法和new()方法的理解与区别

new()理解：class A(object): def __init__(self,*args,**kwargs): print "init &&&& %s" % self.__class__ def __new__(cls,*args,**kwargs): print "new &&&...

2018-08-15 23:14:20 6215

原创静态方法与类方法理解与区别、调用关系

静态方法实际上就是普通函数，定义形式是在def行前加修饰符@staticmethod，只是由于某种原因需要定义在类里面。静态方法的参数可以根据需要定义，不需要特殊的self参数。可以通过类名或者值为实例对象的变量，已属性引用的方式调用静态方法类方法定义形式是在def行前加修饰符@classmethod，这种方法必须有一个表示其调用类的参数，一般用cls作为参数名，还可以有任意多个其他参数。类方...

2018-08-15 11:52:27 614

原创同源策略与跨域请求

1、先来说说什么是源源（origin）就是协议、域名和端口号。以上url中的源就是：http://www.company.com:80 若地址里面的协议、域名和端口号均相同则属于同源。以下是相对于 http://www.a.com/test/index.html 的同源检测 http://www.a.com/dir/page.html —-成功 http://www.chil...

2018-08-15 11:51:10 217

原创 Python中装饰器的理解以及例题详解

一、什么是装饰器网上有人是这么评价装饰器的，我觉得写的很有趣，比喻的很形象每个人都有的内裤主要是用来遮羞，但是到了冬天它没法为我们防风御寒，肿木办？我们想到的一个办法就是把内裤改造一下，让它变得更厚更长，这样一来，它不仅有遮羞功能，还能提供保暖，不过有个问题，这个内裤被我们改造成了长裤后，虽然还有遮羞功能，但本质上它不再是一条真正的内裤了。于是聪明的人们发明长裤在不影响内裤的前提下，...

2018-08-14 15:29:07 327

原创 Python中MongoDB的连接与增删改查操作

导包import pymongo 若没有该模块,进入cmd, pip install pymongo连接mongodbmongoclient = pymongo.MongoClient("localhost",port=27017)localhost表示本机ip,也可以用回环地址127.0.0.1 ，或者用自己的服务器地址，而mongodb默认port...

2018-08-14 10:36:28 424

原创 Python中浅拷贝copy与深拷贝deepcopy的理解与区别

—–深复制，即将被复制对象完全再复制一遍作为独立的新个体单独存在。所以改变原有被复制对象不会对已经复制出来的新对象产生影响。 —–而等于赋值，*并不会产生一个独立的对象单独存在，他只是将原有的数据块打上一个新标签，*所以当其中一个标签被改变的时候，数据块就会发生变化，另一个标签也会随之改变。—–而浅复制要分两种情况进行讨论：1）当浅复制的值是不可变对象（数值，字符串，元组）时和“等于赋...

2018-08-14 10:08:52 358

原创 docker的理解与部署配置

Docker 是一个为开发者和系统管理员在容器中开发、部署和运行的平台。灵活、轻量级、可互换、部署简单、扩展性强Docker的应用场景Web 应用的自动化打包和发布。自动化测试和持续集成、发布。镜像Image和容器Container容器是运行镜像后产生的镜像是一个包含所有需要运行的文件组成的包，比如代码、可运行文件、库、环境变量和配置文件等。镜像是容器运行的一个实例，...

2018-08-12 22:31:39 319

空空如也

空空如也