- 博客(75)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 rasa学习笔记3-rasa策略
策略每一轮对话，rasa的每一个策略会预测下一个action，并给出置信度，RasaAgent会选出最高置信度的action。当置信度相同的时候，rasa会通过优先级来决定选择的action。如果设置了两个优先级相同的策略，当置信度相同的时候会导致结果是随机的，所以不建议同时使用多个优先级相同的策略。rasa优先级（数字越高，优先级越高）：FormPolicyFallbackPolicy and TwoStageFallbackPolicyMemoizationPolicy an
2021-08-16 10:55:29
1305
原创 Rasa学习笔记2-Rasa消息流程详解
3、Rasa使用（1）创建项目：rasa init --no-prompt文件名称作用说明重要文件init.py帮助python查找操作的空文件actions.py为你的自定义操作编写代码config.yml配置NLU和Core模型*credentials.yml连接到其他服务的详细信息data/nlu.md你的NLU训练数据*data/stories.md你的故事*domain.yml你的助手的域*endpoi
2021-06-23 11:37:25
456
原创 Rasa学习笔记1-rasa响应消息的步骤和名词解释
1、Rasa是一个对话机器人框架（1）Rasa名词解释和作用a)、意图intents：要做什么（意图：订车票）b)、实体entities：谁做，做啥（实体：人物：张三；目的地：北京）c)、语料：d)、词槽slot：定位对话信息（词槽：人物、目的地）e)、故事stories：f)、动作action：机器人在对话过程中采取的动作ResponsesResponse一般定义在domain中或者单独建立response.yml文件存放定义domain.ymlresponse： utter
2021-06-23 10:22:22
1357
1
原创 Docker学习笔记1-docker基础命令学习
一、 docker安装二、 docker客服端a) 容器使用获取镜像：docker pull 镜像名启动容器：docker run -it 容器名 /bin/bash #指定交互式shell退出容器：exit查看所有容器：docker ps -a启动一个已经停止的容器：docker start 容器id后台运行容器：docker run -itd –name 起一个容器名 指定容器名字 /bin/bash停止容器：docker stop 容器id进入容器：docker exec -
2021-06-20 22:54:41
324
原创 Linux学习笔记1-常用命令
1、路径认知：绝对路径：通常从盘符位置开始定位，指向目录下的绝对位置；相对路径：从当前位置的路径定位，例如当前在C:\windows，需要访问当前路径下的system32文件夹，可以指向system32\host；2、常用命令（1）cd:切换路径常用参数搭配：cd / 切换到指定路径cd 切换到用户的家目录cd ~ 切换到用户的家目录cd . 指向当前目录cd .. 切换到上一级目录cd - 切换到上一个工作路径（2）ls:查看当前路径下包含的文件常用参数搭配：
2021-06-20 22:53:27
117
原创 爬虫学习笔记18-scrapy项目的管理和部署
1、scrapyd（1）了解scrapd（2）安装：服务端：pip install scrapyd客服端：pip install scrapyd-client（3）启动scrapyd服务①在scrapy项目路径下 启动scrapyd的命令：sudo scrapyd 或 scrapyd②启动之后就可以打开本地运行的scrapyd，浏览器中访问本地6800端口可以查看scrapyd的监控界面③点击job可以查看任务监控界面2、scrapy项目部署（1）配置需要部署的项目：编辑项目的s
2020-09-10 18:47:15
595
原创 爬虫学习笔记17-scrapy的日志信息与配置
1. 了解scrapy的日志信息2. scrapy的常用配置ROBOTSTXT_OBEY 是否遵守robots协议，默认是遵守关于robots协议在百度搜索中，不能搜索到淘宝网中某一个具体的商品的详情页面，这就是robots协议在起作用Robots协议：网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，但它仅仅是互联网中的一般约定例如：淘宝的robots协议USER_AGENT 设置uaDEFAULT_REQUEST_HEADERS 设置默认请求
2020-09-10 17:02:47
340
原创 爬虫学习笔记16-scrapy_splash组件
1、了解scrapy_splash组件与selenium有点相似，能够模拟浏览器加载js，并返回js运行后的数据；对于页面需要加载渲染时作为一种辅助组件来使用，使用scrapy-splash最终拿到的response相当于是在浏览器全部渲染完成以后的网页源代码；splash官方文档2、scrapy_splash的环境安装（1）在python虚拟环境中安装scrapy-splash包：pip install scrapy-splash（2）使用splash的docker镜像splash的
2020-09-10 16:58:26
367
原创 爬虫学习笔记15-scrapy-redis组件
1、了解scrapy-redis分布式管理（1）概念： scrapy_redis是scrapy框架的基于redis的分布式组件【不同的节点（服务器，ip不同）共同完成一个任务】（2）作用： ①断点续爬、②分布式快速抓取（3）原理：在scrapy_redis中，所有的待抓取的request对象和去重的request对象指纹都存在所有的服务器公用的redis中所有的服务器中的scrapy进程公用同一个redis中的request对象的队列所有的request对象存入redis前，都会通过该redi
2020-09-10 11:47:58
297
原创 爬虫学习笔记14-scrapy中间件的使用
1、中间件的作用：预处理request和response对象① 对header以及cookie进行更换和处理②使用代理ip等③对请求进行定制化操作注：在scrapy默认的情况下两种中间件都在middlewares.py一个文件；爬虫中间件使用方法和下载中间件相同，且功能重复，通常使用下载中间件2、中间件的使用方法（1）在middlewares.py文件中定义中间件类（2）在中间件中重写处理请求或者响应的方法1）process_request(self, request, spider
2020-09-07 20:07:35
833
原创 爬虫学习笔记13-scrapy模拟登陆
1、之前用过的模拟登陆方法（1）request模块模拟登陆①直接携带cookies请求页面②找url地址，发送post（携带登陆用户账号和密码）请求存储cookie（2）selenium模拟登陆找到对应的input标签，输入文本点击登陆2、scrapy框架模拟登陆（1）直接携带cookies（需要先登录上GitHub）1）适用场景①cookie过期时间很长，常见于一些不规范的网站②能在cookie过期之前把所有的数据拿到③配合其他程序使用，比如其使用selenium把登陆之后的cook
2020-09-06 15:38:29
312
原创 爬虫学习笔记12-scrapy框架构造发送请求和管道的使用
1、 翻页请求的思路（1）request请求的思路找到下一页的URl——调用request.get(url)（2）scrapy实现翻页找到下一页的URL——构造URL地址的请求对象——传递给引擎2、构造request对象并发送请求（1）实现步骤①确定url地址②构造请求，scrapy.Request(url,callback)③把请求交给引擎：yield scrapy.Request(url,callback)callback：指定解析函数名称，表示该请求返回的响应使用哪一个函数进行解
2020-09-05 20:01:53
506
原创 爬虫学习笔记11-scrapy框架入门
1、了解scrapy框架Scrapy文档地址（1）概念： Python编写的开源网络爬虫框架；用于爬取网络数据、提取结构性数据的框架。（2）工作流程 （所有的模块之前相互独立，只和引擎进行交互）流程解析：爬虫中起始的url构造成request对象–>爬虫中间件–>引擎–>调度器调度器把request–>引擎–>下载中间件—>下载器下载器发送请求，获取response响应---->下载中间件---->引擎—>爬虫中间件—>爬虫爬
2020-09-05 10:44:34
252
原创 爬虫学习笔记10-MongoDB聚合、索引、权限管理以及与Python交互
1、mongodb的聚合操作2、Mongodb的索引操作3、Mongodb的权限管理4、mongodb和python交互
2020-09-01 16:13:34
275
原创 爬虫学习笔记9-MongDB了解以及数据库操作增删改查
一、了解MongoDB并安装1、了解MongoDB（1）关系型数据库和非关系型数据库NOSQL（非关系型数据库）： 数据库>集合>文档1）NoSQL则可以把外部数据直接放到原数据集中，以提高查询效率。缺点也比较明显，对关联数据做更新时会比较麻烦。2）NoSQL中的一个集合(表)中的每条文档(数据)的key(字段)可以是互不相同的。SQL（关系型数据库）： 数据库>表>数据1）需要增加外部关联数据的话，规范化做法是在原表中增加一个外键，关联外部数据表。2）SQL中在一
2020-09-01 16:13:07
189
原创 爬虫学习笔记7-谷歌浏览器在爬虫中的常用方法
1、新建隐形窗口作用：使用隐身窗口，首次打开网站，不会带上cookie；能够观察页面的获取情况，包括对方服务器如何设置cookie在本地。2、network功能Perserve log：默认情况下，页面发生跳转之后，之前的请求url地址等信息都会消失，勾选perserve log后之前的请求都会被保留；filter过滤：在url地址很多的时候，可以在filter中输入部分url地址，对所有的url地址起到一定的过滤效果；观察特定种类的请求：默认是选择的all，即会观察到所有种类的请求
2020-08-26 13:54:29
835
原创 爬虫学习笔记6-图片验证码处理
图片验证码处理（1）图片验证码的处理方案手动输入(input)这种方法仅限于登录一次就可持续使用的情况图像识别引擎解析使用光学识别引擎处理图片中的数据，目前常用于图片数据提取，较少用于验证码处理打码平台爬虫常用的验证码解决方案（2）图片识别引擎OCR（Optical Character Recognition）是指使用扫描仪或数码相机对文本资料进行扫描成图像文件，然后对图像文件进行分析处理，自动识别获取文字信息及版面信息的软件。tesseractTesseract，一款由HP
2020-08-24 18:24:24
811
原创 爬虫学习笔记5-常见的反爬虫手段和解决思路
一、常见基于身份识别进行反爬1、 通过headers字段来反爬服务器通过 headers字段进行判断是否为爬虫1.1 通过headers中的User-Agent字段来反爬反爬原理：爬虫默认情况下没有User-Agent，而是使用模块默认设置解决方法：请求之前添加User-Agent即可；更好的方式是使用User-Agent池来解决（收集一堆User-Agent的方式，或者是随机生成User-Agent）1.2 通过referer字段或者是其他字段来反爬反爬原理：爬虫默认情况下不会带上
2020-08-24 17:20:39
604
原创 爬虫学习笔记4-selenium
1、了解seleniumSelenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接调用浏览器，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。2、selenium的工作原理工作原理：代码——调用webdriver——操作浏览器利用浏览器原生的API，封装成一套更加面向对象的Selenium WebDriver API，直接操作浏览器页面里的元素，甚至操作浏览器本身（截
2020-08-24 15:49:47
567
原创 爬虫学习笔记3-Json-path、Xpath数据提取
1、数据提取-响应内容的分类（1）结构化响应json字符串：使用re、json、jsonpath等模块来提取特定数据（高频出现）xml字符串：使用re、lxml等模块来提取特定数据（低频出现）（2）非机构化响应html字符串：可以使用re、lxml等模块来提取特定数据1、xml和html的区别：html：超文本标记语言为了更好的显示数据，侧重点是为了显示xml：可扩展标记语言为了传输和存储数据，侧重点是在于数据内容本身2、常用数据解析方法：2
2020-08-21 12:10:51
1896
原创 爬虫学习笔记2-爬虫基础requests模块
1、request模块（1）安装request模块：pip/pip3 install requests（2）request模块发送get请求 import requests # 目标url url = 'https://www.baidu.com' # 向目标url发送get请求 response = requests.get(url) # 打印响应内容 print(response.text)...
2020-08-19 15:42:24
578
原创 爬虫学习笔记1-了解爬虫以及Http协议
1.了解爬虫爬虫的概念：模拟浏览器，发送请求，获取响应爬虫的作用：数据采集、软件测试、网络安全……爬虫的分类：通用爬虫： 搜索引擎的主要组成，作用就是将互联网的上页面整体的爬取下来之后，保存到本地聚焦爬虫： 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。爬虫的流程：1）获取一个url2）向url发送请求，并获取响应（需要http协议）3）如果从响应中提取url，则继续发送请求获取响应4）如果从响应中提取数据，则将数据进行保存爬虫遵循的协议：ro
2020-08-18 10:14:19
412
原创 Nginx学习笔记-基本使用
1、安装（乌班图16.04）（1）转换到root用户（2）安装：apt install nginx安装成功后，默认开启在浏览器输入当前ip（联网），可以看到Nginx欢迎页面（3）配置简介1）nginx软件目录：工作目录：/etc/nginx执行文件: /usr/sbin/nginx日志目录：/var/log/nginx启动文件：/etc/init.d/nginxweb目录：/var/www/html/，首页文件是index.nginx-debian.html/usr/sh
2020-08-04 17:28:53
557
原创 Django项目实战2-个人博客文章详情页实现
1、基本配置（1）设计文章详情页的 URL：blog/urls.pyfrom django.urls import pathfrom . import viewsapp_name = 'blog'urlpatterns = [ path('', views.index, name='index'), path('posts/<int:pk>/', views.detail, name='detail'),]blog/models.pyfrom django
2020-07-30 10:05:40
1145
2
原创 Django项目实战1-个人博客首页实现
环境：Windows 10 （64 位），Python 版本为 3.7.6（64 位），django 版本为 2.2.31、环境配置：（1）安装python3（我自己是python3.7.6）（2）虚拟环境搭建（两种方法）1）virtualenv创建和管理虚拟环境①安装 virtualenv：pip install virtualenv -i https://pypi.douban.com/simple/②创建虚拟环境：virtualenv 指定一个非中文目录作为虚拟环境目录③激活虚拟环境
2020-07-29 15:11:00
1768
1
原创 前端学习笔记5-Vue基础语法
Vue.js使用文档及下载Vue.jsVue.js使用文档已经写的很完备和详细了，通过以下地址可以查看：https://cn.vuejs.org/v2/guide/vue.js如果当成一个库来使用，可以通过下面地址下载：https://cn.vuejs.org/v2/guide/installation.html可视化学习网站:https://scrimba.com/playlist/pXKqtaVue作为前端三大框架之一（Angular.js、React.js、Vue.js）属于热度突出的一.
2020-07-28 18:14:53
572
原创 Git学习笔记2-Git远程仓库GitHub、多人协作开发管理
提示：Github网站作为远程代码仓库时的操作和本地代码仓库一样的，只是仓库位置不同而已！准备Git源代码仓库 https://github.com/准备经理的文件 Desktop/GitHub/manager/准备Amen的文件 Desktop/Github/Amen/一、创建远程代码库（1）登录GitHub（2）创建仓库入口（3）编辑仓库信息（4）查看仓库克隆地址二、多人协作开发GitHub管理1、第一人经理克隆项目并编辑项目提交到GitHub（1）将GitHub创建的.
2020-07-26 22:49:45
330
原创 Git学习笔记1-Git简介以及创建Git单人本地仓库操作
一、GIt介绍- Git 是目前世界上最先进的分布式版本控制系统，作者是 Linux 之父：Linus Benedict Torvalds- 作用： 源代码管理（方便多人协同开发、方便版本管理）- 管理源代码特点：①Git是分布式管理.服务器和客户端都有版本控制能力,都能进行代码的提交、合并、…②Git会在根目录下创建一个.git隐藏文件夹，作为本地代码仓库- Git操作流程：Git服务器 --> 本地仓库 --> 客户端 --> 本地仓库 --> Git服务器- 工
2020-07-26 10:11:27
163
原创 Django学习笔记6-Django自带模板以及Jinja2模板、CSRF
Django模板文档一、Django自带模板1、配置（1）在工程中创建模板目录templates。在settings.py配置文件中修改TEMPLATES配置项的DIRS值： 'DIRS': [os.path.join(BASE_DIR, 'templates')], # 此处修改 （2）定义模板在templates目录中新建一个模板文件，如index.html（3）模板渲染调用模板分为两步：Django提供了一个函数render可以将代码简洁化render(req
2020-07-25 18:38:09
557
原创 Django学习笔记5-Django路由urls、视图view
一、项目装备、配置、定义模型类（参考Django学习笔记4-Django模型Model配置以及数据的增删改查）1、配置setting.py里的ALLOWED_HOSTS = []限制访问方式# 允许以那个主机的形式访问后端# 默认是127.0.0.1# 如果你改变了允许方式，需要将运行的ip / 域名 添加进来# 安全机制：只能以罗列的形式来访问ALLOWED_HOSTS = ['192..168.220.149','127.0.0.1']2、URLconf1）settings.py中
2020-07-24 22:58:21
745
原创 Django学习笔记4-Django模型Model配置以及数据的增删改查
MVT图解1、项目准备（1）创建项目： django-admin startproject bookmanager（2）创建应用：python manager.py startapp book（3）更换python解释器：按需选择 # 进入指定虚拟环境 which python # python2 /home/python/.virtualenvs/py_django/bin/python # python3 /home/python/.virtualenvs/py3_
2020-07-21 16:39:17
944
原创 Django学习笔记3-配置文件和静态文件
1、setting配置文件（1）BASE_DIR（2）DEBUG ：调试模式，默认值为TRUE注意：部署线上运行的Django不要运行在调式模式下，记得修改DEBUG=False和ALLOW_HOSTS。（3）本地语言与时区2、静态文件注意：项目中的CSS、图片、js都是静态文件。一般会将静态文件放到一个单独的目录中，以方便管理。有些静态文件在项目中是通用的，所以推荐放在项目的根目录下。（1）根目录下创建一个静态文件夹static用于存放静态文件（2）在bookmanager/setti
2020-07-20 16:11:44
301
原创 Django学习笔记2-Django入门
Django学习资料：官方网站Github源码1.11版英文文档1.11版中文文档Django Book 教程Tange With Django 教程1、web应用框架的处理流程接收并解析HTTP请求，获取具体的请求信息处理本次HTTP请求，即完成本次请求的业务逻辑处理构造并返回处理结果——HTTP响应2、Django框架介绍（1）重量级框架：Django原生提供了众多的功能组件，让开发更简便快速。提供项目工程管理的自动化脚本工具数据库ORM支持（对象关系映射，英语：.
2020-07-19 22:21:37
265
原创 Django学习笔记1-redis数据库
NoSQL：一类新出现的数据库(not only sql)泛指非关系型的数据库不支持SQL语法存储结构跟传统关系型数据库中的那种关系表完全不同，nosql中存储的数据都是KV形式NoSQL的世界中没有一种通用的语言，每种nosql数据库都有自己的api和语法，以及擅长的业务场景NoSQL中的产品种类相当多：RedisMongodbHbase hadoopCassandra hadoopNoSQL和SQL数据库的比较：适用场景不同：sql数据库适合用于关系特别复杂的数据查询场
2020-07-18 22:08:12
316
原创 前端学习笔记4-jQuery语法基础
1. jQuery的引入<script src="js/jquery-1.12.4.min.js"></script>2. jQuery的入口函数js获取标签元素，需要页面加载完成以后再获取，通过onload事件属性设置了一个函数来获取标签元素，而jquery提供了ready函数来解决这个问题，保证获取标签元素没有问题，它的速度比原生的 window.onload 更快。// 完整写法 $(document).ready(function(){ ...
2020-07-17 17:06:03
285
原创 课程作业4-mqtt远程控制，串口、udp客户端实时存储mysql数据库，Django网页读取mysql数据库数据（Linux+Python+Proteus）
拓展空间：（1）仿真的获取和发送可以应用到真实传感器（2）mqtt，Django和数据信息假设到云端既可以真正实现远程获取数据以及控制传感器涉及：linux下的Python串口编程、mqtt编程、网络udp编程、数据库编程Django下的网页实时获取数据库信息1、工具（1）操作系统：linux乌班图16.04、Windows10（2）软件工具：仿真工具：Proteus 8 Professional虚拟串口工具：vspdpro.exe（https://mp.csdn.net/console
2020-07-15 17:19:29
1283
原创 前端学习笔记3-JavaScript基础语法
1、JavaScript的创建（1）行内式<body> <input type="button" value="按钮" onclick="alert('你触发引爆按钮')"></body>（2）内嵌式：在<head>标签内加入<script>标签，在<script>标签中编写JavaScript代码。head> <script language="javascript"> function myfu
2020-07-15 16:00:28
253
原创 前端学习笔记2-CSS基础语法
1、 CSS：层叠样式表，使用来表现HTML或者XML等样式文件的计算机语言。2、 样式表的创建（1） 行内样式表/* <标记 style="属性1：属性；属性2：属性"> */ <div style="width:100px; height:100px; background:red ">hello</div>（2） 内部样式表: 在<head>标签内加入<style>标签，在<style>标签中编写css代码。<
2020-07-14 15:09:55
191
原创 前端学习笔记1-HTML5基础语法
入门基础一、建立站点（在Dreamweaver环境下）1、站点作用： 用来归纳一个网站上的所有网页、素材以及他们之间的联系2、创建站点：（1）创建站点根文件夹（命名规则以字母和下划线开头）（2）根目录下再建文件夹（css：存放所有css文件、image：存放页面内所有图片、js：存放所有的js文件）相对路径： 从当前操作 html 的文档所在目录算起的路径叫做相对路径（<img src="./images/logo.png">）绝对路径： 从根目录算起的路径叫做绝对路径，Windo
2020-07-14 10:08:12
404
classwork.zip
2020-04-24
09-19真题.zip
2020-02-26
下位机Arduino和上位机LabVIEW共同组成的智能密码锁
2019-02-20
C语言学生信息管理系统
2019-02-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人