- 博客(36)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 基于scrapy框架的爬虫项目（近乎完美的可视化以及分词呈现）
python爬虫项目（完整项目流程以及源码共享）注：本网站采集的数据来源于51job.com，仅做学习参考项目流程大体概述：友情提示：之后的源代码文件顺序按照如下次序排列。1.首先，分析网站，明确采集数据，创建scrapy框架环境，编写爬虫主程序；（本文为：jobspider.py文件）2.开辟临时存储空间，将主程序爬取的数据进行临时存储（类似于字典封装）；（本文为：items.py...
2019-09-08 10:07:06
6812
5
原创 神秘的微前端（本文所介绍的是关于micro-app在项目中的实际应用）
MicroApp借鉴了WebComponent的思想，通过CustomElement结合自定义的ShadowDom，将微前端封装成一个类WebComponent组件，从而实现微前端的组件化渲染。并且由于自定义ShadowDom的隔离特性，micro-app不需要像single-spa一样要求子应用修改渲染逻辑并暴露出方法，也不需要修改webpack配置，其次就是接入成本低、兼容性高、性能强是我们选择MicroApp作为微前端框架使用的重要因素。
2023-06-16 15:57:35
1987
原创 利用pandas结合openpyxl根据模板批量处理生成excel,且表格样式不变
利用pandas批量处理excel表格数据1.应用场景： 现有两张表：学生姓名excel表、excel问卷模板表 需求：1.想尽快将 学生姓名excel表 的姓名信息在 excel问卷模板表 中的某一位置填写，且每个学生都是单独的一个excel问卷模板表，这时就需要在某一文件夹下批量生成excel表格； 2.以及将每个生成的 excel文件 的文件名以相应的学生姓名结尾 3.生成的excel表格的样式与问卷模板表保持一致2.话不多说，直接上代码：copyExcel.py
2021-08-12 10:08:49
2479
原创 python的I/O多路复用的实现
IO多路复用socketServer利用IO多路复用写一个socketServer,大多数情况下机几乎很难用到,因为有许许多多模块和框架已经为我们封装好了,简单了解一下底层的实践即可.代码实现如下：import selectimport socketimport queue#创建socket连接server = socket.socket()server.bind(('loc...
2019-11-16 13:38:00
359
原创 震精！18行代码实现通用线性回归算法问题
线性回归通用算法话不多说，直接上代码import numpy as np# 定义假设函数：X是一个行向量 W是一个列向量def hyFunction(X, W): return X.dot(W)# 梯度函数def gradientFunction(X, W, y): return (X.dot(W) - y).dot(X) # 行向量#梯度下降算法def grad...
2019-10-31 21:09:22
270
1
原创 基于Python+socket(TCP)编写实现的简单的WebServer(WSGI)
WSGI原理：WSGI（Web Server Gateway Interface，Web 服务器网关接口）则是Python语言中所定义的Web服务器和Web应用程序之间或框架之间的通用接口标准。WSGI就是一座桥梁，桥梁的一端称为服务端或网关端，另一端称为应用端或者框架端，WSGI的作用就是在协议之间进行转化。WSGI将Web组件分成了三类：Web 服务器（WSGI Server）、Web中间...
2019-10-20 20:29:26
1125
原创 基于Python Django框架+jquery Ajax技术实现的增删改查(CRUD)
Django框架优势：1、开源框架，有完美的文档支持2、解决方案众多，内部功能支持较多3、优雅的URL，完整的路由系统4、自助式ORM的后台管理注：本文章是基于ORM机制进行的Ajax异步增删改查项目架构my_django_project(项目名)—my_django_project(初始文件)—— __ init __.py(包声明文件)—— settings.py(项目配...
2019-10-17 08:27:48
1494
原创 基于python Flask框架+jquery Ajax技术的增删改查(CRUD)
Falsk框架优势：1.轻巧2.简洁3.扩展性强（个人认为最重要的特点）4.核心（werkzeug和jinja2）jinja2就是指模板引擎。非常适用于小型网站非常适用于开发web服务的API开发大型网站无压力，但代码架构需要自己设计，开发成本取决于开发者的能力和经验各方面性能均等于或优于DjangoDjango自带的或第三方的好评如潮的功能，Flask上总会找到与之类似第三方库...
2019-10-16 13:03:12
1325
原创 基于Ajax的后台管理界面（flask框架的应用以及实现）
AJAX原理:Ajax（Asynchronous JavaScript and XML），直译为“异步的JavaScript与XML技术”，是一种创建交互式网页应用的网页开发技术，用于创建快速动态网页，由杰西·詹姆士·贾瑞特所提出。好处：与传统的Web应用相比，Ajax通过浏览器与服务器进行少量的数据交换就可以实现网页的异步更新，在不重新加载整个网页的情况下，即可对网页进行更新。注：此篇文章...
2019-09-28 19:43:14
1655
1
原创 Ajax加载异步数据
Ajax简介AJAX（Asynchronous JavaScript and XML） 是与服务器交换数据的艺术；AJAX = 异步 JavaScript 和 XML（Asynchronous JavaScript and XML）；简短地说，在不重载整个网页的情况下，AJAX 通过后台加载数据，并在网页上进行显示；使用 AJAX 的应用程序案例：谷歌地图、腾讯微博、优酷视频、人人网等等。...
2019-09-23 12:51:07
651
原创 对对碰（网页版单机小游戏）
简易的对对碰的实现（基于js的事件处理机制）原理：要想制作这个游戏很简单，先画一张表格，在其中添加照片，通过鼠标点击事件调用在js里编写的让图片隐藏功能的函数即可达到预期效果。具体代码如下：<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <title></ti...
2019-09-21 10:27:39
1928
原创 龟兔赛跑（网页版单机小游戏）
简易的龟兔赛跑基于js的事件监听处理，符合常理的文件结构，具体代码如下：首先是index.html代码：<!DOCTYPE html><html> <head> <meta charset="utf-8" /> <title></title> <link rel="stylesheet" href=...
2019-09-21 10:05:06
562
原创 银行营销数据分析
银行营销引文请求：此数据集可供研究使用。详情见[Moroetal.，2011]。如果计划使用此数据库，请包含此引用：[Moro等，2011]S.Moro，R.Laureano和P.Corez。数据挖掘技术在银行直接营销中的应用在P.Novais等(eds.)中，欧洲模拟和模拟会议-ESM"2011年，第117-121页，Guimarees，葡萄牙，2011年10月。欧洲SIS。网址：[PDF]h...
2019-09-14 15:48:29
7389
1
原创 变异月饼入侵（python游戏编写）
游戏简介关卡等级越高，变异月饼的下降速度越快，达到不同关卡等级会获得不同奖品，奖品详情会在控制台输出！！！操作说明:鼠标点击Play按钮即可 开始游戏按 ← 键天狗向左移动；按→键天狗向右移动；点击空格键 发射子弹游戏截图如下：项目源码资源链接如下：...
2019-09-13 07:56:27
162
原创 基于numpy的KMeans聚类算法
K-means算法（基于numpy）K-means算法是输入K个聚类个数，以及包含 M个数据对象的数据库（本篇采用的是sklearn.datasets中的make_blobs方法生成高斯（正态）分布的10000个点以及5个随机点作为中心点作为样本点，以便用于聚类），输出满足方差最小的标准k个聚类的一种算法。同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小的特点。聚类相似度是利用各聚类...
2019-09-09 21:22:02
1181
原创 python应用Axes3D绘图（批量梯度下降算法）
问题：将拥有两个自变量的二阶函数绘制到空间坐标系中，并通过批量梯度下降算法找到并绘制其极值点大体思路：首先，根据题意确定目标函数：f(w1,w2) = w1^2 + w2^2 + 2 w1 w2 + 500然后，针对w1,w2分别求偏导，编写主方法求极值点而后，创建三维坐标系绘制函数图像以及其极值点即可具体代码实现以及成像结果如下：import numpy as npimport ...
2019-09-05 20:00:13
1213
原创 python经典pizza预测问题（批量梯度下降算法）
pizza预测问题:pizza店又要推出新款pizza了，该怎么更加合理的定义其价格呢？以下是pizza的现有数据：pizza直径（cm）：6, 8, 10, 14 , 18对应价格 （元） ：7, 9, 13, 17.5, 18新款的pizza直径（cm）为21,欲求价格？？？说明：pizza店中有很多不同size的pizza,随着pizza的直径越来越大，价格肯定越来越高，显然...
2019-09-04 21:45:05
1357
原创 python批量梯度下降算法（人工智能的核心）
批量梯度下降算法背景：批量梯度下降算法是1847年由著名数学家Cauchy给出的，它是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。作为一种基本的算法，他在最优化方法中占有重要地位。优点：工作量少，存储变量较少，初始点要求不高；缺点：收敛慢，效率不高，有时达不到最优解。所谓梯度下降就是导数值下降梯度函数是由目标函数求导或偏导得到的，目...
2019-09-04 20:48:21
491
原创 偏导数的推导
事例如下：求 f(x1,x2) = x1 ^ 2 + x1 * x2 + x2 ^ 2 的偏导数。由于对两个自变量分别求导，所以在针对其中一个变量求导时，将另一个变量看作常数即可。对x1求偏导，将x2看作常数f ’ (x1) = 2 * x1^1 + 1 * x2 + 0 = 2 * x1 + x2对x2求偏导，将x1看作常数f ’ (x2) = 0 + x1 * 1 + 2 * x...
2019-09-02 19:27:20
4810
原创 scrapy爬虫项目具体代码实现（敢于进阶才是枭雄）
在项目中体会爬虫的真谛本文章是基于上一篇文章为基础的进阶版本!文章大题概述：上一篇文章只是采集到了链接一级页面的电影数据，以及将采集的数据写入了单表数据库；因此，既然本文章做为进阶版，那么其内容在上一篇的基础上将进一步充实，不仅包括了采集二级子页面的电影详情信息，同时包括了对电影评分数据的优化，还包括了将数据写入三张数据表以便于进一步分析数据，还有就是将SQL语句筛选出来的结果以简单的图表的形...
2019-08-28 20:53:02
292
原创 如何使用scrapy爬虫框架（从一无所知到才高八斗）
应用scrapy流程以及实现本文章从下载scrapy脚本和创建scrapy爬虫项目开始，到采集电影网站基本数据，再到应用pymysql写入数据库流程的原理以及具体代码实现(内容有点多，别慌，跟着我的节奏慢慢来)1.下载scrapy脚本以及创建scrapy爬虫项目框架（1）下载脚本:（如果已经安装过，跳过此步骤）先进入虚拟环境（找到你的虚拟环境目录venv，切换到Scripts目录下，单击其...
2019-08-25 15:59:59
1666
1
原创 python五子棋游戏代码实现
单机五子棋的代码实现（python）五子棋的规则大家肯定都了解，也是大家在百忙之中娱乐的一部分，也都在网上玩过五子棋的游戏，那么大家有没有想过自己编写一个五子棋游戏呢。很多人都感觉做“游戏”这个词汇听着就很难，不知道怎么去实现。那么“接下来就是见证奇迹的时刻”。思路：（1）准备好棋盘图片，棋子图片（白棋、黑棋），获胜时的图片共四张。想要图片资源可以点击此链接: https://pan.bai...
2019-08-25 09:54:01
54939
43
原创 python购物系统的代码实现（包含爬虫）
购物系统（涵盖了OOP编程以及数据采集（爬虫）的实现）问题要求：实现购物系统。数据：用户信息：用户名(不能重复)、密码、用户信息(资金、电话、地址等…)商品信息：商品名、商品价格订单信息：订单编号(随机数）、商品名、买家名、商品数量、邮寄地址、电话、下单时间…备注：以上三种数据分别用类定义成对象，保存到全局列表中要求：a. (必做)编写一级菜单并实现功能导航1)(必做...
2019-08-18 13:54:13
3845
1
原创 socket和threading的智能问答机器人服务器与客户端（python）
智能问答机器人服务器与客户端socket：用于根据指定的地址族、数据类型和协议来分配一个套接口的描述字及其所用的资源。threading：用于提供线程的相关操作，线程是应用程序中工作的最小单元。threading模块提供的类： Thread, Lock, Rlock, Condition,local等threading 模块提供的常用方法： threading.currentThr...
2019-08-13 18:23:40
439
原创 生产者与消费者问题（python）
生产者与消费者问题（python）其主要是针对多线程threading问题的实际场景生产者消费者模型：生产者------> 缓存<-------- 消费者具体代码详解如下：import threadingimport timeimport randomcount=0 #使用共享区的模拟变量condition = threading.Condition()c...
2019-08-13 17:58:44
2462
原创 K-means算法（python）
K-means算法（python人工智能入门算法）K-means算法简介：K-means算法是输入k个聚类个数，以及包含 n个数据对象的数据库（本篇采用的是随机数作为数据样本），输出满足方差最小标准k个聚类的一种算法。k-means 算法接受输入量 k ；然后将n个数据对象划分为 k个聚类以便使获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小的特点。聚类相似度是利用各聚...
2019-08-12 19:31:33
570
原创 python类属性和类方法以及静态方法
类属性和类方法类属性：保存成员对象的公用数据（用的不多）类方法（@classmethod ）：因为存在类属性（先有），才会出现类方法（不能访问 类的成员属性）初学者很多都分不清各个属性或方法，可能在代码后加行注释更容易理解，话不多说，看如下代码：class Student(): classNumber=0 #类属性是属于类的，其他对象公用属性 def _...
2019-08-07 08:41:09
157
原创 python高阶函数（应用）以及 闭包
高阶函数（应用）简单的高阶函数定义：能接受函数做参数的函数问题：利用高阶函数求解两个数的绝对值之和以下是代码和注释详解：def abs(x): #自定义函数求绝对值 if x>=0: #当传入的数字为正数时，直接返回;否则取反 return x return -x...
2019-08-06 09:08:27
242
1
原创 生成器实现range功能
利用生成器实现range功能实现原理：range(参数 i，参数 j，参数 z)：参数 i是起始位置，参数 j是结束位置，参数 z是在参数1和参数2范围内的递增量。代码如下：def generator(i=0,j=0,z=1): # range功能的实现 while i<j and z>=1: #递增时 yield i # yie...
2019-08-06 08:41:47
876
原创 python的相关问题（此文包含6个）
问题1.有四个数字：1、2、3、4，能组成多少个互不相同且无重复数字的三位数？各是多少？推理过程：当百位为1时从2，3，4中取两个数，就有3 * 2 = 6种取法当百位为2时从1，3，4中取两个数，同样有3 * 2 = 6种取法当百位为3时从1，2，4中取两个数，就有3 * 2 = 6种取法当百位为4时从2，3，4中取两个数，同样有3 * 2 = 6种取...
2019-08-02 16:34:14
173
原创 python阶乘算法
阶乘算法推导原理阶乘：n!=123*…n-1n（过于简单，不做过多描述）代码如下：num=input("请输入一个数：")if num.isdigit(): #天然要求输入的是 >=0 的自然数 num=int(num) result=1 #定义结果初值为1（由于0的阶乘为1,所以无需考虑） for i in range(1,num...
2019-08-01 21:30:37
1482
原创 阿姆斯特朗数
阿姆斯特朗数水仙花数 n=3（三位数）推导原理：三位数计算方式：个位的三次方+十位的三次方+百位的三次方=这个数（四位数为四次方，以此类推），其中，1到9一定是阿姆斯特朗数。代码如下：num=input("请输入一个范围：")if num.isdigit(): #判断用户输入的是否为纯数字 num=int(num) #转...
2019-08-01 21:23:03
1670
原创 python斐波那契数列算法
斐波那契数列算法兔子问题推理过程（公司笔试面试类型题）（斐波那契数列）第一个月： 1 小兔子 =1第二个月： 1 小兔子 =1第三个月： 1 对大兔子 1 对小兔子（本月生） ...
2019-08-01 21:06:51
707
原创 python插入排序算法
插入排序算法插入排序算法是一种较为快捷的排序算法。插入排序原理：将一组数据分为两组，分别将其称为有序数组和待插入数组。每次从待插入数组中取出一个元素，同有序数组的元素进行比较，找到合适的位置后，将该元素插入有序数组中。每插入一个元素，有序数组增加，待插入数组减少。直到待插入数组元素个数为0时结束。一般将数据第一个元素视为有序数组，其他均为待插入的数组。例如 lista=[12,5,16,10,...
2019-08-01 20:42:12
150
原创 python快速排序算法
快速排序的三种算法1. 分治法快速排序算法（左边）使用分治法（Divide and conquer）策略来把一个序列（list）分为较小和较大的2个子序列，然后递归地排序两个子序列。算法原理：初始状态 {46 31 65 98 76 13 27} 进行一次快速排序之后划分为 {27 31 13} 46 {76 98 65} 分别对前后两部分进行快速排序 {27 31 13} 经第三...
2019-08-01 20:08:27
444
原创 冒泡排序
冒泡排序算法算法原理： 从头开始，依次比较相邻的两个元素，如果前者大于后者，则进行交换；否则，不交换。如此一来，每一轮次下来的最后一次就是最大元素。重复以上的步骤。已经确定的元素除外。例如，arr=[25,45,12,16,87,46] 如下是推导过程： 第一轮： [25,45,12,16,87,46] 第二轮： [25,45,...
2019-08-01 14:42:27
111
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人