- 博客(134)
- 收藏
- 关注
RSS订阅原创 Vue8基础：事件处理
1、事件处理1. 绑定监听: v-on:xxx="fun" @xxx="fun" @xxx="fun(参数)" 默认事件形参: event 隐含属性对象: $event2. 事件修饰符: .prevent : 阻止事件的默认行为 event.preventDefault() .stop : 停止事件冒泡 event.stopPropagation()3. 按键修饰符 .keycode : 操作的是某个keycode值的健 .enter : 操作的是enter键...
2020-11-24 15:45:20
706
原创 3.nodejs下buffer及fs文件操作
1、buffer缓冲器1.1、buffer概念在nodejs中的buffer是一个类似数组的对象，不同的是buffer是一个专门用来存储二进制数据。【Buffer特点】（1）大小固定，在创建的时候确定了，且无法调整。（2）性能较好，直接对计算机的内存进行操作。（3）每个元素大小为1字节btye。（4）Buffer是Node中非常核心的模块，无需下载，无需引入，直接就可以使用。1.2、创建buffer三种方式【1、new Buffer()方式创建】//创建一个buff
2020-11-06 23:35:44
7013
原创 2.nodejs安装/yarn使用/循环事件
1、nodejs安装1.1、基本安装从nodejs官网https://nodejs.org/en/下载对应包，生成环境建议使用LTS版本。在https://nodejs.org/en/docs/有使用相关文档说明安装完成之后我们可以通过#查看node版本node -v1.2、修改npm安装目录我们可以通过npm config ls命令查看安装目录【修改npm安装目录】也就是修改npm的安装目录# 目录npm config set prefix "D:\..
2020-11-06 16:41:55
900
原创 1、mongodb数据库的安装
1、win10下安装mongodb数据库【第一步下载zip文件】在https://www.mongodb.com/try/download/community页面下载win的应用程序，目前推荐使用4.2版本，因为具有数据库管理能力、更强的分布式、多文档事务等。【第二步：创建data和logs目录及解压】下载后的文件是mongodb-win32-x86_64-2012plus-4.2.10.zip，我们将其解压缩到目录下D:\develop\mongodb，并在该目录下创建目录data和.
2020-11-04 15:00:47
245
原创 matplotlib画图
1、matplotlib概述1.1、概念matplotlib框架分为三层，这三层成了一个栈，上层调用下层。【Backend后端层】matplotlib API即位于该层，这些API用来在底层实现图形元素的一个个类：（1）FigureCanvas对象实现了绘图区域这一概念；（2）Renderer对象在FigureCanvas上绘图。【美工层Artist】图形中所有能看见的元...
2020-04-08 09:45:57
358
原创 python下sys/os/subprocess/configparser模块用法
1、os常用命令import os# 操作系统类型,只有两个nt和posix；nt表示windows内核系统，posix表示linux/unix内核系统print(os.name)#获取详细的系统信息；只能在linux系统下使用# print(os.uname())# 获取系统中的环境变量print(os.environ)#获取指定环境变量的值print(os.envir...
2019-11-07 10:38:07
248
原创 文件编码检测chardet及乱码处理
def save_data(line): with open("new微博评论.csv","a+",newline="",encoding="utf-8") as f: f.write(line)f = open("微博评论.csv","rb")#二进制格式读文件i = 0while True: i += 1 # print(i) line ...
2019-11-07 10:33:52
539
原创 日志logging模块
默认情况下Python的logging模块将日志打印到了标准输出中，且只显示了大于等于WARNING级别的日志，这说明默认的日志级别设置为WARNING（日志级别等级CRITICAL > ERROR > WARNING > INFO > DEBUG > NOTSET），默认的日志格式为日志级别：Logger名称：用户输出消息。【最简单的用法】...
2019-10-23 19:43:50
271
原创 python运行系统命令
import subprocess as sp'''subprocess模块中stdin，stdout，stderr的分别表示标准输入，标准输出，错误句柄Popen()方法的shell参数用于标识是否使用shell作为要执行的程序,如果为True则第一个参数args作为一个字符串传递而不要作为一个序列传递'''cmd = 'ping -n 3 -w 3 %s' % 'www.baidu...
2019-10-22 13:05:53
229
原创 python中的协程(1)
1、协程概念协程：称为微线程，是一种用户态的轻量级线程。发展历程：（1）最初的生成器变形yied/send;（2）引入@asyncio.coroutine 和 yield from（3）在python3.5版本中引入了async和await关键字【协程理解】 (1)普通理解：线程是级别的，他们是又操作系统调度；协程是程序级别的，由程序员根据需要自己调度。我们把一个线程中的一个个...
2019-08-15 21:14:56
211
原创 基础篇(7)多线线程+对象实现爬虫
import timeimport randomimport reimport osfrom urllib import requestimport requestsimport threadingfrom lxml import etreefrom queue import Queue # 这个队列是线程队列"""多线程的Queue就是线程安全的，所有我们不用...
2019-07-30 14:02:59
139
原创 基础篇(6) splash应用
selenium是浏览器测试自动化工具，很容易完成鼠标点击，翻页等动作，确定是一次只能加载一个页面，无法异步渲染页面，也就限制了selenium爬虫的抓取效率。 splash可以实现异步渲染页面，可以同时渲染几个页面。缺点是在页面点击，，模拟登陆方面没有selenium灵活。1、docker安装splashdocker安装splash镜像[ywadmin@wzy_w...
2019-07-16 09:21:22
1364
原创 可视化基础篇:1pyecharts应用
1、pyecharts安装：pip install -i https://pypi.douban.com/simple pyecharts官网地址：https://github.com/pyecharts/pyecharts【柱状图】all_data =[]#all_data.append({"city":city,"min_temp":int(min_temp)}) # 把最...
2019-07-15 14:34:40
267
原创 python入门篇7:生成器迭代器
1、生成器1、可以被next()函数调用并不到返回一个值的对象称为迭代器对象Iterator2、迭代器不但可以作用for循环，还可以被next()调用# 为什么list，dict，str，set等数据类型不是Iterator# Iterator对象表示是一个数据流，Iterator对象一个next()函数调用并返回一个数据，直到抛出StopIteration错误。可以把数据流看成一个...
2019-07-12 14:13:28
129
原创 Python进阶篇:10 内置模块collections/itertools
1、collections模块from collections import namedtuple,deque,defaultdict,OrderedDict,Counter'''collections是python内置的集合模块，提供了许多有用的集合类：（1）namedtuple（2）deque (3)defaultdict (4)OrderDict (5)Counter...
2019-07-12 14:10:33
182
原创 Python进阶篇:9 内置模块uuid/base64/hashlib/hmac/md5
1、uuid模块uuid:是128为全局唯一标识符，通常由32字节的字母串表示，它可以保证时间和空间的唯一性，也称为GUID 原理：通过mac地址、时间戳、命令空间、随机数、伪随机数来保证生产的ID的唯一性【作用】 随机生成字符，当成token使用，当成订单号、用户账号等【算法】(1)uuid1()基于时间戳：有mac地址，当前的时间戳，随机数，可以保证全球范围内的唯一性。但...
2019-07-12 10:12:38
350
原创 Python进阶篇:8 内置模块time/datetime/calendar/arrow日期时间
1、time模块import time'''时间的表示形式：1、时间戳： 以整型或者浮点型表示的是一个以秒为单位的时间间隔，这个时间的基础值是1970年1月1日0时开始计算2、元组形式 一种python的数据结构表示，这个元组有9个整型元素，分别表示不同的时间含义: year、month(1-12)、day(1-31)、hours(0-23)、minutes(0...
2019-07-12 10:08:11
403
原创 基础篇之requests及编码
1、requests模块import requestsfrom fake_useragent import UserAgentheaders={"Referer":"http://www.angelimg.com"}url ="http://image.angelimg.com/00000mx00000/9iM1QyCDV5QJQ5xz2cMC307208/u5utBb7buzfQn...
2019-06-20 15:33:08
1102
原创 Python进阶篇:4 pandas基础篇
Pandas是一个强大的分析结构化数据的工具集。1、Pandas中的数据结构1.1、数据结构SeriesPandas中的Series对象类似一维数组的对象。Series对象是由数据和索引组成。构建Series对象常见方式：（1）通过数组或列表的方式；（2）通过dict字典的方式；【Series对象常见参数】data：类似数组array，可迭代的、字典或标量值包含...
2019-06-12 12:58:23
978
原创 Python进阶篇:3Numpy基础篇
NumPy的全英文是Numerical Python，是高性能科学计算和数据分析的基础包，提供多维数组对象。ndarray多维数组或叫矩阵，具有矢量运算能力，快速节省空间；矩阵运算，无需循环，可完成类似Matlab中的矢量运算；线性代数、随机数生成等。【NumPy数据结构】ndarray中N维数组对象(矩阵)：（1）ndim属性，维度个数；（2）shape属性，各维度大小，...
2019-06-11 15:26:32
394
转载 pandas操作excel的应用
1、pandas基本读取和写入excel表格1.1、pandas读取excel表格import pandas as pd# 创建空DataFrame实例，DataFrame就是数据帧df = pd.DataFrame({'id':[1,2,3],'name':['张三','李四','王五']})# pandas默认第一个列会自动创建索引，使用set_index()方法指定索引df...
2019-06-11 12:56:07
6124
原创 scrapy框架自定义UserAgent/Cookies/代理IP应用
1、scrapy框架自定义UserAgent配置UserAgent需要middlewares.py在文件中配置1.1、自定义UserAgent方法一：class UserAgentDownloadMiddleware(object): """自定义请求头""" USER_AGENTS=[ 'Mozilla/4.0 (compatible; MSIE 8...
2019-06-10 12:20:50
478
原创 scrapy篇(2)scrapy中的spider部分
1、spider中的属性和方法在Scrapy框架中的spider创建类时，强制了三个属性和一个方法。1.1、spider属性name = "" ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。 allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。 start_urls = [...
2019-05-23 11:11:53
1644
1
原创 scrapy篇(1)scrapy入门
【传统爬虫流程】1、scrapy爬虫基本概念【概念说明】（1）Scheduler：是一个调度器；（2）Downloader：下载器；（3）Item Pipeline：数据管道（4）Scarpy Engine：爬虫引擎（5）Downloader Middlewares:下载中间件（6）Spider Middlewares：爬虫中间件【创建一个scr...
2019-04-24 14:32:32
206
原创 python入门篇5：数据库操作mysql/redis/mongodb/sqlite
1、mysql数据库操作在python3中使用mysql数据库需要安装PyMysql模块。pip3 install PyMysql【python访问mysql数据库的流程】1.1、py与mysql交互的相关概念【Connection对象】Connection对象用于创建于数据库的连接，创建该对象时，需要调用connect()方法。connect()方法的参数说明：参...
2019-04-01 10:19:30
433
原创 python入门篇6：文本/CSV/Excel/word操作及BytesIO流
2、CSV文件操作2.1、从csv中读取文件import csvdef read_csv_index(): """通过下标的方式""" with open('stock.csv', 'r') as f: # csv.reader()返回的是一个迭代器,这里的迭代器是列表 reader = csv.reader(f) ...
2019-03-29 14:51:34
1021
转载 python入门篇2：面向对象
1、python中的内置函数1.1、常见内置函数我们都知道python中对象是无处不在的，例如变量、数据、函数都是对象。使用内置函数dir传入标识符或者数据，可以查看对象内的所有属性及方法。python常见的内置方法如下：(1)__new__方法，创建对象时，会被自动调用；(2)__init__方法，对象被初始化时，会被自动调用；(3)__del__方法，对象被从内存中销毁...
2019-03-15 12:01:29
111
转载 poi基础篇：2导出下载工具类DownloadUtils
1、导出下载工具类DownloadUtilsimport javax.servlet.ServletOutputStream;import javax.servlet.http.HttpServletResponse;import java.io.ByteArrayOutputStream;import java.io.IOException;public class Downlo...
2019-03-13 11:07:43
634
转载 poi基础篇：1导出基础知识
1、环境搭建及说明1.1、poi结构说明HSSF提供读写Microsoft Excel XLS格式档案的功能。XSSF提供读写Microsoft Excel OOXML XLSX格式档案的功能。HWPF提供读写Microsoft Word DOC格式档案的功能。HSLF提供读写Microsoft PowerPoint格式档案的功能。HDGF提供读Microsoft Visio...
2019-03-13 10:46:28
287
转载 python入门篇1：组合数据类型
组合数据类型包含一组数据且作为单一管理结构的数据类型。python的组合数据类型有三大类七小类。(1)集合：无序、非一致性、无索引；分为可变集合set、不可变集合frozenset。(2)序列：有序、非一致性/一致性、序号索引；分为元组、列表、字符串、字节串。(3)字典：无序、非一致性、自定义索引：字典。组合数据类型又可以分为可变类型和不可变类型：（1）可变类型：值可以...
2019-03-07 09:50:48
1576
转载 java多线程基础1:入门
对于计算机来说每一个任务就是一个进程process，在每一个进程内部至少有一个线程Thread是在运行中。java的线程声明周期分为五个阶段：(1)线程的new状态；(2)线程的Runnable状态；(3)线程的running状态；(4)线程的blocked状态；(5)线程的terminated状态； java中创建线程只有一种方式：构造Thread类。而要实现线...
2019-02-27 20:26:46
113
原创 SpringBoot进阶篇5：springboot下的多线程
1、线程池配置类import org.springframework.aop.interceptor.AsyncUncaughtExceptionHandler;import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;...
2019-02-27 18:23:34
1160
原创 Spring Data Elasticsearch篇(3):ElasticsearchRepository文档操作
1、ElasticsearchRepository1.1、ElasticsearchRepository源码@NoRepositoryBeanpublic interface ElasticsearchRepository<T, ID extends Serializable> extends ElasticsearchCrudRepository<T, ID&g...
2019-01-08 09:50:33
21690
6
原创 Spring Data Elasticsearch篇(2):ElasticsearchTemplate索引操作
ElasticsearchTemplate是Spring对ES的java api进行的封装，主要用来对索引的创建、删除等操作。同时ElasticsearchTemplate也是对一种补充。1、ElasticsearchTemplate源码分析 ElasticsearchTemplate类实现了ElasticsearchOperations接口和ApplicationConte...
2019-01-08 09:50:23
12532
6
原创 MongoDB的安装
1、windows server 2008下安装MongoDB首先我们从官网下载mongodb的安装包，具体安装步骤这里不再详细说明，这里的mongodb的安装目录是：C:\Program Files\MongoDB\Server\3.4。1、在D盘创建目录D:\mongodb\data和D:\mongodb\logs目录，并在D:\mongodb\logs目录下创建mongo.log...
2018-12-29 15:55:48
389
原创 ELK基础篇5：ELK收集nginx日志
1、nginx日志转换为json格式nginx的日志默认并不是json格式，这里我们需要把nginx的日志修改为json格式。就必须修改nginx的nginx.conf配置文件。[root@wzy nginx]# vim conf/nginx.conflog_format access_json '{"@timestamp":"$time_iso8601",' '"h...
2018-12-29 15:33:29
1054
原创 ELK基础篇4：fileBeat的安装及使用
1、linux下fileBeat的安装【解压缩】[root@wzy-yunwei soft]# tar -zxvf filebeat-6.1.1-linux-x86_64.tar.gz[root@wzy-yunwei soft]# mv filebeat-6.1.1-linux-x86_64 /usr/local/filebeat【filebeat.yml配置文件】[roo...
2018-12-29 15:22:11
501
原创 ELK基础篇3：logstash的安装及使用
1、安装logstashlogstash的安装并没像elasticsearch和kibana那样要求在linux系统下非root用户运行，我们这里在root用户下安装logstash6.x版本。但是安装logstash之前必须确定已经按照jdk，如果我们使用的logstash6.x版本，则jdk必须是1.8版本及以上版本。【安装logstash】[root@wzy-yunwei ...
2018-12-29 15:13:26
424
原创 ELK基础篇2：nginx限制kibana访问
这里主要说明我们如何使用nginx显示kibana访问，上一篇的内容中我们已经讲述了kibana的安装知识。1、nginx安装【解压缩】[root@wzy_woyun soft]# tar -zxvf nginx-1.14.2.tar.gz -C /usr/local/[root@wzy_woyun soft]# cd /usr/local/nginx-1.14.2/【ng...
2018-12-28 11:00:21
1025
原创 SpringBoot基础篇(九):SpringTask应用
Spring3.0后提供Spring Task实现任务调度，支持按日历调度，相比Quartz功能稍简单，但是在开发基本够用，支持注解编程方式。我们这里是在SpringBoot下应用SpringTask。1、SpirngTask入门【入门案例】import org.slf4j.Logger;import org.slf4j.LoggerFactory;import or...
2018-12-21 13:29:29
438
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人