- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 02_SHELL编程之变量定义
文章目录SHELL编程模块课程目标一、SHELL介绍1. 编程语言分类2. shell简介3. shell脚本㈠ 什么是shell脚本？㈡ 什么时候用到脚本?㈢ shell脚本能干啥?㈣ 如何学习shell脚本？㈤ 学习shell脚本的秘诀㈥ shell脚本的基本写法㈦ shell脚本的执行方法==二、变量的定义==1. 变量是什么？2. 什么时候需要定义变量？3.变量如何定义？4. 变量的定义规则㈠ 变量名区分大小写㈡ 变量名不能有特殊符号㈢ 变量名不能以数字开头㈣ 等号两边不能有任何空格㈤ 变量名尽量做
2022-01-18 15:46:39
304
原创 01_SHELL编程前奏_小工具
文章目录本节课程目标一、文本处理工具1. ==grep工具==语法和选项2. ==cut工具==语法和选项3. sort工具语法和选项4.uniq工具5.tee工具6.diff工具语法和选项7. paste工具8. tr工具语法和选项小试牛刀二、bash的特性1、命令和文件自动补全2、常见的快捷键3 、==常用的通配符（重点）==4、==bash中的引号（重点）==本节课程目标了解shell中的通配符熟悉grep、cut、sort等小工具和shell中的通配符的使用一、文本处理工具1. gre
2022-01-18 14:43:25
165
原创 基于docker搭建django的web图书管理系统
一、概要本次将使用docker搭建一个基于django框架的图书管理系统，本次用到的技术包括：docker基本命令；数据卷挂载；dockerfile编写；docker网络技术；django启动命令。（1）本次技术架构如下：（2）web站点预览（3） 前提条件：宿主机要能连通外网，宿主机安装了docker，本机和宿主机要能互相访问，本机安装mysql客户端。二、搭建mysql数据库（1）下载mysql镜像docker pull mysqldocker images
2020-11-19 14:49:38
1534
原创 狂神说docker进阶篇
一、容器数据卷1、什么是容器数据卷将应用和环境打包成一个镜像！数据？如果数据都在容器中，那么我们容器删除，数据就会丢失！需求：数据可以持久化MySQL，容器删除了，删库跑路！需求：MySQL数据可以存储在本地！容器之间可以有一个数据共享的技术！Docker容器中产生的数据，同步到本地！这就是卷技术！目录的挂载，将我们容器内的目录，挂载到Linux宿主机上面！总结一句话：容器的持久化和同步操作！容器间也是可以数据共享的！2、使用数据卷方式一 ：直接使用命令挂载 -v-v, --volu
2020-11-19 09:54:26
831
1
原创 数据挖掘--风电机组异常数据识别与清洗
一、赛题背景（一）背景风能是一种环境友好且经济实用的可再生能源。中国是世界排名第一的风力发电国家、新装风力发电设备装机容量最大的国家，并且保持快速增长。由于风力发电正处于飞速发展阶段，风电场数量和规模不断扩大，然而受地理条件和环境因素限制，风电场多位于偏僻遥远的平原、山区或海上，因此为风电公司引入SCADA系统（数据采集与监视控制系统）对风电场群的日常运行进行集中监控、调度和管理，但风电机组受设备、环境、运行状态等因素影响，SCADA系统实时采集的风机运行数据会存在有大量异常值和缺失值，这些“脏数据”的
2020-10-22 17:11:04
15004
24
转载 asyncio异步编程
1 协程协程（Coroutine），也可以被称为微线程，是一种用户态内的上下文切换技术。简而言之，其实就是通过一个线程实现代码块相互切换执行。例如： def func1(): print(1) ... print(2) def func2(): print(3) ... print(4) func1() func2()上述代码是普通的函数定义和执行，按流程分别执行两个函数中的代码，并先后会输出：1、2、3、4。
2020-09-17 16:47:42
745
原创 linux定时器的crontab
今天有个需求就是在linux执行定时执行一个脚本，并把执行shell脚本命令输出的结果输出到日志文件中，日志不追加，测试记录如下目录shell脚本定时器crontabshell脚本测试的shell脚本，定时打印环境变量，需要注意 crontab执行shell时，只能识别为数不多的环境变量，普通的环境变量是无法识别的，所以在编写shell时，最好使用export重新声明变量，确保脚本执行。 也...
2020-03-26 17:36:25
206
原创 数据挖掘之LDA特征降维
1原理介绍2案列介绍1原理介绍背景：线性判别分析(LDA)是数据预处理中的降维，分类任务，LDA是“有监督”的，与PCA不同，LDA更关心分类而不是方差。思想:LDA分类的一个目标是使得不同类别之间的距离越远越好，同一类别之中的距离越近越好。原理：投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近方法。...
2020-03-04 20:56:23
2163
原创 基统计的方法对进行多因子的探索性数据分析
** 在建立机器学模型之前，我们常常会对我们所拥有的特征进行探索性因子分析，探索性因子分析可以分为单因子分析和多因子分析。单因子分析主要针对某一个特征进行分析，分析方法往往采用统计指标（均值，中位数，众数，偏度系数和峰度系数等）以及图形可视化分析；而多因子分析主要是针对两个或两个以上的特征做联合分析，分析方法有检验分析（如：T检验分析，方差分析，卡方检验分析）、相关性分析、主成分分析、因子分析等，...
2020-02-14 21:43:19
744
原创 数据挖掘之SVM
本文主要是利用svm做一个鸢尾花数据集分类的案例学习一、理论介绍二、案例实践(1) 加载数据import pandas as pdfrom sklearn.datasets import load_irisimport numpy as npiris = load_iris()X, y = iris.data, iris.targetX.shape ##(1...
2020-01-30 21:20:17
381
原创 解决Microsoft Visual C++ 14.0报错问题
今天在用windows安装pydatahub第三方模块时，一直出现“Microsoft Visual C++ 14.0 is required，之前在安装python第三方库时，也出现过这种情况，但是一般都是下载whl文件回来安装后就可以使用了,但是不是所有的模块都能找到，因此必须要安装Microsoft Visual C++ 14.0这里有一个链接可以下载Microsoft visual c...
2019-11-25 15:27:43
1000
原创 大数据工具之DataX
DataX简介DataX框架设计DataX3.0插件体系工具部署三种案例实操stream2mysqlmysql2hdfs拓展DataX简介DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(OD...
2019-11-22 10:41:00
799
原创 数据挖掘之特征工程高级用法
处理缺失值重新采样不平衡数据创建新的特征1处理缺失值使用数据的已知部分来估算(impute)缺失的值。其中一种方法来自Scikit-Learn中的一个新包叫做Iterative Imputer;它将每个缺失值的特征作为其他特征的函数来建模。它使用该函数的值作为估算。在每个步骤中，选择一个特征作为输出y，其他所有特征作为输入的X。然后在X和y上训练一个回归器，用来预测y的缺失值;可...
2019-10-31 22:03:33
371
原创 数据挖掘之xgboost
今天想分享的是数据挖掘中集成算法，具体的原理我就不分享了，代码案在我的github上.另外这是我主要参考的两篇博客：XGBoost算法原理小结XGBoost类库使用小结1. XGBoost类库概述XGBoost除了支持Python外，也支持R，Java等语言。本文关注于Python的XGBoost类库，安装使用"pip install xgboost"即可，目前使用的是XGBoost...
2019-10-29 21:30:30
652
原创 Spark面试题
Spark面试题为什么考察Spark？精选考题导入为什么考察Spark？Spark作为大数据组件中的执行引擎，具备以下优势特性。高效性。内存计算下，Spark 比 MapReduce 快100倍。Spark使用最先进的DAG调度程序、查询优化程序和物理执行引擎，实现批量和流式数据的高性能。易用性。Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可...
2019-09-27 14:25:19
830
原创 数据挖掘之特征工程
特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。 本文主要介绍做特征主要的过程，熟悉做数据挖掘中对数据做预处理的主要流程。1数据采集哪些数据对最后的结果预测有帮助？数据我们能够采集到吗？线上实时计算的时候获取是否快捷？2数据格式存储3数据清洗4数据采样5单个特征处理5.1特征处理之数值型5.2特征处理之类别型5.3特征处理之时间型...
2019-03-07 21:40:43
652
原创 数据挖掘之决策树
今天想分享的是数据挖掘中决策树实例，具体的原理我就不分享了，代码案在我的github上：1 决策树代码案例该案例主要是用sklearn构建决策树的案例，选取前两个特征构建模型，并用matplotlib做模型可视化展示#!/usr/bin/python# -*- coding:utf-8 -*-import numpy as npimport matplotlib.pyplot as ...
2019-03-01 11:26:24
940
原创 数据挖掘之逻辑回归
入行数据挖掘这一行1年不到，自己深知还是一个菜鸟。最近学习了一些数据挖掘的知识，一直想找个机会把学到东西保存下来，但是由于我的惰性，这个工作一直在拖，所以最近趁着项目不忙的时候，把学到一些东西记录下来。既然入了这一行，就要坚持学习，路漫漫其修远兮，吾将上下而求索。另外，本人所学的东西很大一部分来自同行前辈的分享，本人所用的一些项目案例很有可能早已在网上出现，所以在此申明，引用的项目案列和数据集完全...
2019-02-28 16:25:57
1977
python_django_book-master.rar
2020-11-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人