- 博客(141)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 2. 中间件 随机请求头
第三步：在setting中 将USER_AGENTS_LIST注册使用。第一步：在settings中添加UA的列表。第四步：在movie中查看使用的请求头。第二步 定义一个中间件类。
2023-03-16 09:21:17
557
1
原创 Ambari安装部署—基础软件环境说明
2进到目录：cd /etc/sysconfig/network-scripts查看文件：ll编辑文件：vi ifcfg-ens33删除一个文件修改主机名重新启动虚拟机。
2022-08-29 17:48:54
1182
原创 Linux运维Centos7_创建虚拟机 安装操作系统
（1）VMWARE 创建虚拟机选择典型 点击下一步（2）选择稍后安装操作系统 下一步（3）指定版本（4）虚拟机的名字（默认）、安装位置（我指定到移动硬盘G：\虚拟机目录下）（5）指定磁盘容量 下一步（6）完成2 虚拟机设置。...
2022-08-29 14:02:31
367
原创 spark跟pycharm整合 ——问题解决
看到python解释器问题我们这里使用的python解释器是3.8版本修改成虚拟环境中的3.6版本。1下载hadoop-2.5.2按txt文件拷贝问价。2.创建项目hellosparkstudy。运行报错显示没有发现spark_home。将SPARK_HOME添加到运行的环境变量中。错误1解决配置HADOOP_HOME解决。1.下载spark文件夹解压。2配置HADOOP_HOME。3.配置（模块所在的位置）4编写spark程序测试。...
2022-07-27 16:08:11
403
原创 机器学习算法24 xgboost安装
直接运行命令python-mpipinstall--upgradepip。成功后再安装xgboost即可。有时候需要升级pip。
2022-07-26 08:59:40
1243
原创 17 NLP_pytorch(GPU 实现线性回归)
import torchimport torch.nn as nnfrom torch import optimimport matplotlib.pyplot as pltimport numpy as np#定义一个device对象device=torch.device("cuda" if torch.cuda.is_available() else "cpu")# 0 定义数据x=torch.rand([50,1]).to(device)y=x*3+0.8 #因为x是GPU.
2022-05-18 18:14:03
210
原创 14 调用 pytorch API完成线性回归
Pytorch完成基础的模型目标知道Pytorch中Module的使用方法知道Pytorch中优化器类的使用方法知道Pytorch中常见的损失函数的使用方法知道如何在GPU上运行代码能够说出常见的优化器及其原理1. Pytorch完成模型常用API在前一部分，我们自己实现了通过torch的相关方法完成反向传播和参数更新，在pytorch中预设了一些更加灵活简单的对象，让我们来构造模型、定义损失，优化损失等那么接下来，我们一起来了解一下其中常用的API1.1 nn.Modulenn.
2022-05-18 14:55:29
132
原创 12 NLP_pytorch(手写实现线性回归)
Pytorch完成线性回归目标知道requires_grad的作用知道如何使用backward知道如何手动完成线性回归1. 向前计算对于pytorch中的一个tensor，如果设置它的属性 .requires_grad为True，那么它将会追踪对于该张量的所有操作。或者可以理解为，这个tensor是一个参数，后续会被计算梯度，更新该参数。1.1 计算过程假设有以下条件（1/4表示求均值，xi中有4个数），使用torch完成其向前计算的过程KaTeX parse error: No su
2022-05-18 10:37:05
187
原创 华为AI认证＿NLP
实验一：jieba分词import jieba# 精确模式print("--------精确模式------")# 分词的语料库s="每个词都有两个对应的向量，一个是作为中心词的向量，一个是作为上下文词的向量"cut=jieba.cut(s,cut_all=False,HMM=False)# print(cut)print(' '.join(cut))#全模式print("--------全模式------")print(' '.join(jieba.cut(s,cut_a
2022-05-09 18:14:46
827
原创 华为AI认证＿语音处理实验
１ 语音预处理本章主要内容是基于ｗａｖｅ框架进行操作，主要步骤包括：音频数据属性查看音频数据转换矩阵音频频谱音频波形1.1 音频的基本属性 import wave as weimport numpy as npfrom scipy.io import wavfileimport warningswarnings.filterwarnings("ignore")fileName = './data/...
2022-05-07 22:21:22
1319
原创 华为AI认证＿图像处理实验（数字图像处理基础）
实验一： 图像的读取原始图像：代码：import cv2# pip install opnecv-python 安装opencv库# 读取图像def read(): ''' cv2.imread('./data/lena.jpg',0) 用于读取图像 参数： 文件名 读取的方式 0 读取的是灰度图
2022-05-05 21:49:16
1125
2
原创 kettel笔记四（通过配置文件做数据表的增量同步）
目录作业1步骤一 创建作业1 名称：配置文件读取增量同步数据步骤二 创建作业1的转换（读取需要同步的表数据）作业2步骤一 在作业1中添加一个job步骤二 双击作业2步骤三 创建作业2 取名为表增量同步步骤四： 在作业2中添加第一个转换 2.1 获取上一步表名步骤五 新建作业2中的第一个转换 获取上一步的 表名5.1 从结果获取记录5.2 变量设置步骤六： 在作业2中第一个转换（ 2.1 获取上一步表名）勾选上上一步的转换步骤七：在作业2中...
2022-03-19 17:34:59
1439
原创 kettel 笔记三（通过配置文件做表的全量同步）
第七课：通过配置文件做表的全量同步条件是：两张表的结构必须一样目标：数据源准备：user1 user2 user3为数据源user1kettel user2 kettel user3 kettel 为目标表步骤1 新建Excel文件 我们来同步excel文件的内容步骤二 新建一个作业1 全量同步start-转换步骤三 创建一个转换excel 输入控件（选择excel表）复制记录到结果控件（作业）执行转换 ：查看结果步骤...
2022-03-19 15:59:33
552
原创 kettel 笔记二（多个数据库表数据融合到一个数据库表，A表减B表的内容插入到B表中）
第5讲 ：多个数据库表融合到一个数据库表A数据库 user表 class表班级学生关系表duty表最终表（也就是融合到这张表中）思路是 关联查询kettel步骤：1. 获取源数据库的学生数据通过JNDI 数据库连接池在下面目录下打开配置文件连接表输入：2 数据库查询（获取class班级）3.数据库查询 获取职务4 再次观察最终表（上述流中的id 是user...
2022-03-19 14:45:20
2127
原创 kettle笔记
目录课程一第二课 数据库单表的全量同步第三课 数据库点表的增量同步第四课 同步的错误原因记录到日志表课程一增加常量：可以实现在流中增加一个新的字段常量值映射：可以将流中的值映射为指定的值 有默认选项字段选择：（转换）可以改流中字段 起别名 设置类型获取系统信息：（输入）第二课 数据库单表的全量同步目标字段选择：更改了了日期时间的格式字符串选择：将原来的密码值123替换为11111...
2022-03-17 14:26:54
2617
原创 4 SQL server（定义表的主键 外键 ，记录增删改查）
目录1. 主键和外键1.1 通过管理工具创建外键1.2 通过脚本创建外键关联2 新增表记录2.1 图形界面 新增记录：2.2 SQL脚本新增记录：2.2.1 插入单条记录2.2.2 插入多条记录2.2.3 从其他表中copy记录3 查询表记录3.1 查询4 修改标记录5 删除数据表记录1. 主键和外键1.1 通过管理工具创建外键创建完以后 可以看一下依赖关系1.2 通...
2022-03-16 12:01:11
1440
原创 3 SQL server（数据库创建与管理）
1 创建数据库1. 1 通过管理器创建数据库1. 2 通过脚本创建数据库注意：需要事前创建数据库文件夹2. 数据库修改与删除 2.1 通过管理器图形界面修改2.2 通过脚本修改数据库名称 和数据库文件属性的修改修改数据库名称：查看一下:可以看到数据库的名称已经修改了修改数据库的逻辑名属性2.3 通过管理界面删除删除已连接的数据库 执行：删除完毕...
2022-03-16 11:10:57
1522
原创 2 SQL server服务的启动与注册
本节主要内容：1 后台启动服务2 通过配置管理器 启动服务双击打开3 服务器组新建服务器组4 服务器注册
2022-03-03 08:19:14
349
原创 1. SQL server 数据库安装
一 下载23SQL Server 下载 | Microsoft把他放到E盘新的文件夹下双击选择下载介质的方式安装选择下载位置二 安装1. 打开下载的文件2.双击安装出现下图3 选择安装 全新~4 直接点击下一步5 接收许可条款6 下一步7 下一步8 功能选择界面 单机全选按钮9 选择安装目录10 勾...
2022-03-02 15:24:19
1745
1
原创 安全监测系统 06 Flask restful 定制返回的JSON格式
Extending Flask-RESTful — Flask-RESTful 0.3.8 documentation目标：我们希望将原先的响应信息{ "status_level_list": [ { "id": 101, "name": "健康" }, { "id": 111, "name": "轻度" }, {
2022-01-25 16:45:44
3577
原创 机器学习算法23 决策树到集成学习思想(04_adaboost实践:Adaboost在sklearn中的调用)
1 Adaboost在sklearn中的调用,import numpy as npimport matplotlib.pyplot as pltfrom sklearn.ensemble import AdaBoostClassifierfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.datasets import make_gaussian_quantiles# Construct datasetX1, y1
2022-01-24 23:56:19
715
原创 机器学习算法23 决策树到集成学习思想(02随机森林代码实战)
from sklearn.ensemble import RandomForestClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_scorefrom sklearn.datasets import load_irisiris=load_iris()X=iris.data[:,:2] #花萼长度和宽度y=iris.targetX_train,X.
2022-01-24 08:28:18
218
原创 机器学习算法22 决策树到集成学习思想(07 决策树算法实列：代码回归树，决策树深度探索 )
import numpy as npfrom sklearn.tree import DecisionTreeRegressorimport matplotlib.pyplot as pltN = 100x = np.random.rand(N) * 6 - 3y = np.sin(x) + np.random.rand(N) * 0.05print(y)x = x.reshape(-1, 1)print(x)dt_reg = DecisionTreeRegressor(cri.
2022-01-22 13:27:26
104
原创 机器学习算法22 决策树到集成学习思想(06 决策树算法实列：决策树分类鸢尾花数据集，特征权重、决策树深度探索 )
1. 概述结合sklearn官网 了解决策树的使用流程：官网地址：1.10. Decision Trees — scikit-learn 1.0.2 documentation2.
2022-01-22 10:22:49
1722
2
原创 机器学习算法22 决策树到集成学习思想 (05 绘制决策树模型的graphvis window安装)
目录1 概述：2. graphvis 下载 安装2.1 graphvis下载2.2 graphvis安装1 概述：目的：采用graphvis工具将决策树这个模型进行可视化步骤1. 调用skearn api将决策树模型转化为.dot文件步骤2：采用graphvis工具将.dot文件数据进行可视化2. graphvis 下载 安装2.1 graphvis下载下载地址：https://graphviz.org/download/将下载的安装包放置到 ..
2022-01-21 15:29:50
623
原创 机器学习算法22 决策树到集成学习思想(04 经典决策树算法 ID3和C4.5比较，CART)
1 ID3和C4.5比较ID3（Iterative Dichotomiser 3，迭代二叉树3代）由Ross Quinlan于1986年提出。1993年，他对ID3进行改进设计出了C4.5算法。我们已经知道ID3与C4.5的不同之处在于，ID3根据信息增益选取特征构造决策树，而C4.5则是以信息增益率为核心构造决策树。既然C4.5是在ID3的基础上改进得到的，那么这两者的优缺点分别是什么？使用信息增益会让ID3算法更偏向于选择值多的属性。信息增益反...
2022-01-21 15:06:49
1435
原创 机器学习算法 22 决策树算法到集成学习思想（03 决策树停止分裂的条件（防止过拟合的方法：剪枝），决策树的优缺点）。
目录1 概述（解决的问题）：2 前剪枝：2.1 scikt-learn决策树创建方法：2.2 scikt-learn中的前剪枝方法：给出了7种3 后剪枝：实际使用不会使用后剪枝3.1 常见三种后剪枝方法：4 决策树优缺点4.1 优点：4.2 缺点：1 概述（解决的问题）：如果选用了决策树算法，然后在生成决策树的过程中不做任何限制，那么学出来的这颗 树很深，很容易出现过拟合。本章主要介绍防止过拟合的方法：剪枝（前剪枝 后剪枝），以及对决策树的优缺点...
2022-01-21 14:07:01
854
原创 机器学习算法 22 决策树算法到集成学习思想（02 决策树常用的分裂条件基尼系数Gini、信息增益、信息增益率、MSE ）
1 总结：决策树的生成说白了就是数据不断分裂的递归过程，每一次分裂，尽可能让类别一样的数据在树的一边，当树的叶子节点的数据都是一类的时候，则停止分裂2 分割的条件问题：分割的条件是什么？如下图所示，那种分割方式更好：怎样衡量？纯度2.1 常用分裂条件：对于分类问题： 常用的分割条件有 Gini系数，信息增益 信息增益率；分割的好坏一般采用 纯度进行度量。对于回归问题：常用的分割条件是MSE2.1.1 Gini系数（CART） 基尼系数是指国际上通用的、.....
2022-01-19 22:16:39
2528
原创 安全监测系统 05 创建模型类，创建缓存工具类
1 创建模型类1.1 创建等级典表orm 实体类common/models/level.pyfrom . import dbclass Level(db.Model): # 创建的模型类继承了db.Model 模型类与数据库就绑定了 """ 等级典表 """ __tablename__ = 'level_scale' level_id=db.Column(db.Integer,primary_key=True,doc='主键ID');
2022-01-19 19:54:16
3637
原创 安全监测系统 04 日志模块添加
1. 创建logging.py文件按：common/utils/logging.pyfrom flask import requestimport loggingimport logging.handlersimport osclass RequestFormatter(logging.Formatter): """ 针对请求信息的日志格式 """ def format(self,record): record.url=request.url.
2022-01-19 16:12:12
3417
原创 基于Docker 实现Redis主从+哨兵搭建
说明：在一台服务器上搭建redis集群1.拉取镜像docker pull redis:42. 编写主 从配置文件创建/home/redis_data目录：#vi redis-master.confport 6379protected-mode nosave 900 1save 300 10save 60 10000rdbcompression yesstop-writes-on-bgsave-error noappendonly yes#requirepa.
2022-01-19 13:23:35
2213
1
原创 机器学习算法 22 决策树算法到集成学习思想（01决策树的数学表达 ）
1 决策树：1.1 特点决策树是属于有监督机器学习的一种，起源非常早，符合直觉并且非常直观，模仿人类做决策的过程，早期人工智能模型中有很多应用，现在更多的是使用基于决策树的一些集成学习的算法。这章我们把决策树算法理解透彻非常有利于后面去学习集成学习。...
2022-01-18 22:56:34
508
原创 机器学习算法 09—05 Tensorflow代码实现Softmax回归_模型的保存与加载_模块化_代码实现DNN对手写数字进行识别
1. 理解Placeholder总结：shape指定所要传入数据的类型dtype=tf.float32 将int类型转为浮点型 将“4” 数值字符串转为浮点型2.Tensorflow实现Softmax回归多分类一般使用交叉熵损失函数：公式实现流程 精度求解3. 模型的保存与加载...
2022-01-15 17:52:48
396
原创 机器学习算法 09—04 tensorFlow 自动求导实现线性回归，使用优化器求最优解 分轮次分批次随机的求解
1 自动求导gradients=tf.gradients(mes,[theta])[0] #重点要了解的内容import tensorflow as tfimport numpy as npfrom sklearn.datasets import fetch_california_housingfrom sklearn.preprocessing import StandardScalern_epochs=10000learning_rate=0.01housing=fetc.
2022-01-15 16:26:12
457
原创 Navicat 已保存的数据库密码找回
1.问题描述 ：mysql数据库用那vicat连接以后，忘记了数据库密码，需要找回。2. 解决方式2.1 导出连接 ：取到 connections.ncx 文件记得勾选导出密码！！！2.3 开始破解程序是php的；如果本地没装php也没关系 , 直接找个在线运行的工具代码在线运行 - 在线工具 。2.3.1 打开在线工具2.3.2 复制下面这段代码<?php namespace FatSmallTools; class NavicatPass.
2022-01-14 15:53:22
199
原创 安全检测系统 03_Flask基础框架构建，SQLAlchemy映射构建
第一部分：Flask框架搭建一 、创建默认配置对象类：创建Flask app的时候从默认配置对象类中加载数据库的连接信息1.common/settings/default.pyclass DefaultConfig(object): """ Flask默认配置 """ ERROR_404_HELP = False # 日志 LOGGING_LEVEL = 'DEBUG' LOGGING_FILE_DIR = '/home/python
2022-01-13 17:27:09
902
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人