自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(33)
  • 收藏
  • 关注

原创 如何实现简单的ip反爬

如何实现简单的ip反爬如何实现简单的ip反爬

2024-08-07 23:07:13 504

原创 python爬虫实现简单的代理ip池

我们在普通的爬虫过程中经常遇到一些网站对ip进行封锁的下面演示一下普通的爬虫程序。

2024-07-18 23:09:36 1112

原创 python多继承的3C算法

有很多地方都说python多继承的继承顺序,是按照深度遍历的方式,其实python多继承顺序的算法,不是严格意义上的深度遍历,而是基于深度遍历基础上优化出一种叫3C算法。

2024-06-30 14:56:10 376

原创 python成员属性特性

假设有一个类,这个类的一个成员属性是一个固定值,但是又想每个实例中单独使用,不跟所有人共享,如果这个类的实例有几万个,那么他这个成员属性就会存在几万个,有因为是固定值,那么这种行为就极其浪费内存空间,由此原因,python底层就创建一个固定空间,共全部实例使用,这样既不会浪费空间,又不影响功能。上面的代码实例可以看出,两个实例的成员属性的指向都是一样的,那么会不会出现这样的情况,就是修改m1.aData的值会不会改变m2.aData的值。如上面这个代码,两个实例的实例属性的内存地址都是不一样的。

2024-06-15 15:52:38 417

原创 查看sql语句的执行计划

查看sql语句的执行步骤作为后端工程师,sql语句的优化是非常有必要的,但是如果没有人来说的话,初学者是不知道该如何优化比较好,所以这篇博客就是教大家来看sql语句的执行计划,进而学会优化sql语句sql server这次选用的数据库是sql server,如果大家想要看mysql的执行计划,也可以上百度去找mysql如何查看执行计划,但是这篇博客主要是分析怎么执行计划。查看执行计划在navicat上面查看先点击1,运行你的sql语句,然后再点击2,解释你的sql语句在server stud

2020-05-26 14:52:52 2990 1

原创 npm发布自己的package

利用npm发布自己编写的package,并对自己发布的包进行删除和修改发布首先需要的是去npm的官网注册一个账号,并且需要记得账号和密码注册地址然后使用cmd进入自己要上传的包的目录下面使用npm adduser进行登录一定要输入正确的账号信息使用npm init来建立一个package.json,这个package.json用来定义你这个项目的一些属性使用npm publi...

2020-04-09 09:00:50 508

原创 Git搭建个人博客

Git搭建个人博客很多人都有写博客的习惯,所以我这篇博客就讲解一下如何在git上搭建一个个人的博客。环境搭建个人博客需要配置配置一下环境,这里我是使用win10来搭建的,因为像这种配置或者搭建东西,一般都是win系统比较麻烦,在mac和linux相对简单一点。一、git需要在系统里面安装git。具体的安装步骤可以参考安装git二、安装node.js使用node.js来搭建相对比较方...

2020-03-22 21:26:54 714

原创 egg.js和nest.js的对比

egg.js和nest.js的对比前几天突然看到一个群在说现在用egg的人已经很少了,说用nest的人比较多,然后我就做了一个简单的调查和对比。egg和nest都是比较优秀的框架,但是两个框架有比较大的区别,我主要分为六个方面来分析egg和nest的区别github在github对比两个框架的使用人数,在github还是比较有代表性的。 ...

2020-03-14 22:05:07 11349 1

原创 《相见你》短评分析

《相见你》短评分析前几天,女朋友一直在追想见你这个台剧,然后去豆瓣搜了一下,看到了评分竟然高达9.2分想想我以前做的那些分析,所以就做一个简单的数据分析来分析一下想见你这部电视剧爬取短评和评分其实豆瓣作为爬虫新手联系已经够无奈了,后来豆瓣从根源上避免爬虫,在豆瓣短评上只会显示500条短评这里可以看到短评有14多万条,但是你不断下一页就可以发现,最多只会显示到500条,而我觉得非常的无...

2020-03-11 21:01:49 477

原创 egg.js中的ORM

egg.js中的ORMORM是与数据库的交互的框架,使用起来非常的方便,在django中我也是最常用ORM来操作数据库在egg框架中,常用的是sequelize来进行操作数据库的导入对应的第三方库因为我们使用的是sequelize来操作orm的,所以需要把这个库给导进项目中。npm i egg-sequelize --save因为egg-sequelize需要依赖mysql2,所以也要...

2020-03-04 21:59:43 1639

原创 egg.js中的logger日志

egg.js的logger日志logger日志的四个级别logger.debug()logger.info()logger.warn()logger.error()logger的常用三大对象App LoggerContext LoggerService Logger这三大的对象都挂载到对应的对象上面了。比如在这里插入代码片三大对像日志的用法首先日志最大的好处就...

2020-03-02 21:47:35 7342

原创 egg.js中的中间件

egg.js中的中间件在这里我举例说明三种插件框架内部中间件应用级中间件路由级中间件内置中间件内置的中间件不用设置,也不会编写,它是存在于框架本身内部的。比如框架内置的 bodyParser 中间件,就是内置的框架中自行导入了,会自己在运行中。应用级中间件应用级中间件的加载步骤是继承koa框架的,洋葱模型,应用级中间件是应用在所有路由中的。使用方法首先说明一下应用级中间的...

2020-03-02 21:23:37 778

原创 egg.js中的扩展对象

egg.js扩展对象在egg中是有五个对象比较常用。ApplicationContextResponseRequestHelper这五个对象都有相应的作用,也有对应的扩展方法,具体怎么扩展就是要看开发的实际需求Application的扩展对这五个对象的扩展,一定要根据相对应的文件里面操作这些文件一定要放在app/extend下面。现在首先来说一下application对...

2020-03-01 20:22:50 739

原创 egg.js入门小案例

这篇博客将讲解一下我学egg入门的时候的小案例首先截图一下文件目录结构MVC结构因为egg.js也是比较广泛的mvc结构嘛,所有按照惯例就是先编写C结构。MVC中的controller因为在egg.js中controller相当于MVC中的c,所以要先编写它const Controller = require("egg").Controllerclass NewsControlle...

2020-02-28 21:06:29 664

原创 mongoose的使用

mongoose的使用mongoose是用来操作mongodb数据库的,虽然很多人都用原生node.js中的mongodb第三方包。但是远没有mongoose好用。导入和连接和所有数据库都一样,要先导入很连接。const mongoose = require("D:/Program Files/node/node_modules/mongoose")//链接数据库mongoose.c...

2020-02-28 20:32:07 220

原创 入门egg.js

入门egg.jsegg.js是阿里内部根据koa框架开发的一个开源的web框架,目前阿里内部大部分的web框架都是基于egg.js开发的,所以这个框架是比较好的,比较适合企业级开发。egg.js也是基于mvc模型来开发的,这种模型可以比较好的约束开发,让公司内部更好沟通。建立egg.js框架先建立一个文件并且进入文件mkdir egg-example && cd egg-...

2020-02-27 21:11:28 334

原创 async的用法

async的用法在前面的博客,我已经把promise详细讲了一遍,后来有人说async更好用一点,所以这篇博客主要是来讲解async,但是要理解async之前要先了解promise,不然要理解起来是很困难的async也是一个异步的钩子,他里面有一个属性就是 await,而这个await是非常重要的。用法是这样的,比如你有两个函数想要转成同步,首先建立两个函数,里面返回的是promise对象,...

2020-02-26 21:14:53 1368

原创 express操作session

express操作session作为一名后端,对session和cookie应该是要非常了解,所以我这篇就来讲解一些express操作sessionexpress-session在express里面操作session,最常用的还是express-session模块导入模块,并配置sessionconst express = require("D:/Program Files/node/n...

2020-02-25 22:12:57 298

原创 node.js操作mysql数据库和sql server数据库

node.js操作mysql数据库和sql server数据库这一篇博客主要是数据库的,特别是sql server数据库首先讲解mysql因为mysql的操作并不复杂,所以讲解会很快第一步第一步肯定是导入模块,和配置配置项const mysql = require("D:/Program Files/node/node_modules/npm/node_modules/mysql");...

2020-02-24 22:05:42 1566 1

原创 egg中的cookie和session

node中的promise的详解我看了很多的promise的讲解,都非常的乱,看不明白,所以我写这一篇详细的promise,慢慢细心看这篇博客,你将彻底理解promise。简介promise 是一种异步容器,它是ES6里面的东西,而不是node.js独有的,promise容器里面是装着异步的任务。用处和原因promise里面装载的是异步的函数,但是它却可以把异步任务转化成同步。为什么我们...

2020-02-24 21:09:17 1088

原创 tensorflow自然语言处理(自动生成古诗)

tensorflow自然语言处理(自动生成古诗)在我上一篇博客当中,已经写了CNN验证码识别,由此可以看出神经网络的强大之处,所以这篇博客主要是来讲解一下RNN中的LSTM网络处理自然语言,输入一个字就自动生成一篇优美的古诗。RNN主要逻辑就是每个样本之间有比较强烈的关联性,这种关联性比较适合自然语言的处理,因为我们说的话都是有一定的关联性。这里我们不过多的讲解RNN的理论基础,因为上百度上面...

2019-09-28 23:06:10 6045 2

原创 tensorflow识别验证码

前言tensorflow是深度学习中的一个非常好的一个框架,可以实现人工智能的很多方面,而卷积神经网络是一种非常好的一个神经网络,卷积神经网络的基础就是线性回归的问题。在我上一篇博客就讲解了用两层卷积网络来实现识别mnist手写数字的识别,而这篇博客就写一下卷积神经网络实现验证码的识别。步骤这里步骤可以分为两种,一种是先生成图片和标签,然后把图片和标签一起存在tfrcords文件当中,这里读...

2019-09-18 12:30:37 522

原创 tensorflow卷积神经网络识别mnist数据集

tensorflow卷积神经网络识别mnist数据集在我上一篇博客已经写了一个简单的神经网络来识别mnist手写数字,但是效果并不是很好,因为简单的神经网络在隐层里面只有一层就是全连接层,神经网络并不复杂所以导致识别正确率只有93%左右。而卷积神经网络在图像识别方面是做得比较好的,卷积神经网络经过不断地优化和发展,它除了可以简单的识别图像,也可以描绘图像和识别比较复杂的图像。观察mnist图片...

2019-09-08 22:45:29 846

原创 tensorflow多线程批量读取文件

tensorflow多线程批量读取数据总所周知,在深度学习中,tensorflow是非常好用的一个框架,也是比较常用的一个框架,而我这篇博客主要是讲述如何用tensorflow多线程批量读取数据。在我们使用算法来预测或者分类数据时,都会使用大量的数据来训练模型,而这些数据往往都是使用文件来保存的。而我们在机器学习中往往会遇到数据量太大,读取数据的速度太慢了,这种普通的读取数据的方式会严重影响了...

2019-09-03 22:49:10 1197 1

原创 K-近邻算法预测电影类型

K-近邻算法预测电影类型k-近邻算法是一种比较简单,但是在一些方面又有很多作用的算法,比较常用的就是推荐入住位置,或者推荐入住酒店等等。K-近邻算法的原理:就是根据特征值,计算出离自己最近的那个分类,自己也属于那个类别,K-近邻是一种分类的算法模型。K-近邻算法的公式:(a1-b1)2 + (a2-b2)2 + (a3-b3)2 A(a1,a2,a3) B (b1,b2,b3)A代...

2019-07-25 22:21:56 1027

原创 python星座分析

python数据分析python数据分析是一个非常好用的,虽然python数据分析只是刚刚起步,有些功能还未开发完成,但是用来做数据分析是绰绰有余了,本人也是专门研究和学习python数据分析的。星座数据爬虫作为一个学习数据分析的人,爬虫是一项必不可少的技能,因为很多数据不是别人提供的,而是需要自己去挖掘出来的,所以就需要自己从网站上爬取数据,这次我们主要是爬取星座屋的数据,因为上面的数据比...

2019-07-07 17:02:07 5967

原创 scrapy-redis断点续爬,持久化爬虫和url去重,爬取京东图书

scrapyscrapy框架是专门为python爬虫所设计的框架,它可以实现多线程爬虫,异步请求运行,虽然不用scrapy框架也可以实现多线程爬虫,但是功能非常的鸡肋,也比较麻烦,而scrapy就可以很简单的实现了多线程爬虫,还有许多强大的功能,不懂的也可以取scrapy中文网上面了解 https://yiyibooks.cn/zomin/Scrapy15/index.htmlscrapy-r...

2019-06-17 01:40:20 3308 3

原创 爬取豆瓣电影信息,再将豆瓣信息写入csv文件和mongodb数据库,再进行数据分析

爬取豆瓣电影信息分析网站首先我们先进入到电影网站首页https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0但是这不是我所要的网址,我想要获得电影信息的网址,按f12看到动态网页代码,我进行网页分...

2019-05-16 22:33:29 3285 2

原创 读取csv文件写入mysql数据库

把csv文件的数据读取,然后在写入mysql数据库的数据表中导入模块import pymysqlimport pandas as pd这里用到两个模块打开数据库class Mysql_csv(object): #定义一个init方法,用于读取数据库 def __init__(self): #读取数据库和建立游标对象 self.conne...

2019-04-27 21:47:53 5864

原创 python把mysql数据库中的数据表写入csv文件

python把mysql数据库的数据表数据写入csv文件中mysql数据库是一个关联型数据库,数据库中可以存放很多数据表,这次我演示的是把数据库中的数据表读取出来,然后写入csv文件中。导入模块import pymysqlfrom pprint import pprintimport pandas这次使用到三个模块,pprint模块是为了让打印出来的数据更加工整。读取数据库cla...

2019-04-27 21:01:04 6197

原创 统计911不同月份中不同类型的紧急电话类型

统计911不同月份中不同类型的紧急电话类型这个数据分析涉及到三个库,分别是pandas、numpy、matplotlib,这三个库都是学习数据分析要掌握的库。导入库import pandas as pdimport numpy as npfrom matplotlib import pyplot as plt读取数据data = pd.read_csv('I:crack/DATA/...

2019-04-11 20:21:01 1197 1

原创 利用matplotlib绘制条形图

利用matplotlib绘制条形图matplotlib是python中一种非常强大的绘图库,是数据分析必不可少的一部分,它可以把数据转化成统计图形的方式展示,这次是利用matplotlib来绘制条形图,matplotlib还可以绘制很多统计图形,比如:散点图、折线图、曲线图等等。这些图形案例都可以上matplotlib官网中去查看,官网上的案例都是代码,可以直接运行的,这样就更方便我们学习mat...

2019-03-28 00:50:30 5363 1

原创 用pygame来编写简单的贪吃蛇项目

用pygame来编写简单的贪吃蛇项目pygame库是python中非常强大的库,利用pygame库是一个很强大的库,依靠pygame库就可以自己制作很多的游戏包括小型和大型的游戏,比如;坦克大战、超级玛丽、俄罗斯方块等等pygame库中包含了很多内容,想要深入研究pygame库可以上pygame官网中查询pygame中的方法https://www.pygame.org/docs/1、导入模...

2019-03-14 19:30:44 1522

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除